1961年人口普查的资料显示，在当时香港3,100,000人口之中，有超过150,000人于船上生活。不少水上人为渔民，其余则从事贸易、运输及船只相关的行业，例如船只建造与维修等。除了香港仔、长洲、大澳与筲箕湾等渔民重镇以外，香港尚有无数的渔民社区，例如鲤鱼门、油麻地、长沙湾、荃湾、赤柱、大潭、柴湾、青衣、梅窝、屯门、蒲台、索罟群岛、坪洲、塔门、吉澳、滘西、布袋澳、大埔和西贡等。

大部分的渔民家庭都在船上生活，陆上并无居所。随着时日过去，他们在中式帆船或渔船的生活环境逐渐变得恶劣，是以有些渔民宁愿把船繫在岸滩，定居下来。其他无家可归的人则沿着帆船停泊的位置，以木搭起权宜的建筑或棚屋，慢慢地形成了沿海的寮屋区。

水上社群的生活环境恶劣。一艘船只通常容纳一家四至八口居住，厕所、浴室和厨房设备欠奉，卫生状况差劲。有些渔村会设有公用厕所和浴室；棚屋或船上的固体废物与未经处理的污水，通常被肆意丢弃或流放水中。由于不少渔村位于海湾顶端的入口，潮涌不足以沖走污水，故那些地方恶臭连连。不少水上家庭的子女已适龄入学，却一直在船上过活成长，流连甲板嬉戏，长大后便帮忙父母捕鱼，又或从事其他粗活。水上居民一般从舢舨上的商贩购置日常用品。