南迁客家人是如何迁到香港的呢?客家人进入香港垦殖考证主要有五个重要时期。
第一个重要时期，据史料载，宋朝期间，第一个在香港开埠的，是侯氏家族。
侯氏始祖侯五郎，北宋进士，金兵南侵时，侯家南迁至番禺，后来他的后代侯卓峰举家迁到新界。嗣后，又有邓氏、彭氏、廖氏陆续迁入。尤其是新界的文氏，是文天祥的后裔。南宋末文天祥在北京就义后，其家族为避元兵追杀，逃至新界的元朗，为最早开发香港九龙半岛的家族之一。
侯、邓、彭、廖、文五家，进入香港垦殖，各居一方，被称为香港新界五大族
。按其主要居住地，分别叫上水侯氏、锦田邓氏、粉岭彭氏、上水廖氏、新田文氏。五大族中邓、彭、文氏，祖籍都是江西，文氏属客家人。他们是最早入港的客家先民，800年前已经落地生根，但后来进入香港的客家人并不把他们当客家人看，而是认为他们是土著。后人计算客籍人口，并不把这五大族人口计入。相反，后在香港岛占多数的广府人，并不把新界五氏家族看做是广府人，仍然把他们当成客家人。
客家人社群强大
第二个重要时期，在18世纪初期至中期，从1700年至1750年间，客家人大批从粤东移民到香港，但也有少数在1800年以后才迁入的。
他们的祖籍地一般是嘉应州的五华、兴甯、梅县，也有少部分来自福建和邻近香港的惠州一带。由于他们移民来港的时候数以万计，港岛上建立了400多座村庄，他们在人员和经济能力上可以跟本地居民相比，甚至还超过本地人，因此没有被同化，保留了客家人的优良传统。
直到二十世纪70年代以前，客家人多数在新界的乡村居住，过着简单朴素的农耕生活。随着香港都市化进程的加剧，广府人、潮州人、福佬人等也大批进入香港，形成在香港岛和九龙一带广府人占优势。
第三个重要时期，在抗日战争时期，大陆遭遇日本侵略者的大肆屠杀，与大陆生灵涂炭、百业凋零相比较，当时香港在英国人统治下，尚未沦陷，算是相对安定。
于是，许多内地客家人纷纷逃往香港谋生。太平洋战争爆发后，虽有一批人离开，但香港光复后，不少客家人的亲属也随迁居住在香港，香港客家人的人数为此大增。
第四个重要时期，1949年中华人民共和国成立前后，客家人大量涌入香港
。主要是在40年代后半期和50年代初，当时战火连天，国民党败退南逃，一些人便跑到香港。这里主要有三种人：一是国民政府中的党军政人员;二是怕被没收财产的资本家;三是怕土地改革和清匪反霸运动的地主、富农。其中就有不少客家人，主要集中在军政人员中包括不少高官。客家学的创建人罗香林，就是这一时期来到香港的。在这批人中，是历来迁居香港的客家人中身家较为殷实、文化程度也较高的一批人。
第五个重要时期，1950年以后，有不少大陆的客家华侨、侨眷迁入香港定居，也有从世界各地回国读书的侨生，受到不公正待遇后，迫切要求回其所在国，因不能回去原所在国而滞留香港的，这些人多数是家族资产雄厚，或者知识层次较高者。
应该说，这个时期到香港定居的客家人，许多人现今成为客家人的领袖人物，也成为后来香港回归前后的重要力量。
港岛东柴湾有段古
南迁客家人迁到香港居住在哪些地方的呢？客家人进入香港垦殖的地方，考证主要是九龙半岛。
主要有如下这些地方：崇正新村、林村、水蕉新村、大榄村、吴家村、荃湾三栋屋、大督美村等许多客家古村落。而香港岛最东的谷地「柴湾」。由于三面环山，加上水源充足，所以盛产木材。这些木材可作柴薪之用，所以这个海湾被命名为「柴湾」。从18世纪初开始，有一些客家人进入柴湾。
根据1841年的人口普查资料，柴湾人口只有30人，到了1891年增至208人。
18世纪初客家人自宝安迁徙至香港的柴湾，建村定居，客家人习惯以其姓氏来名气族屋群。因为罗屋的主人即是姓罗的客家人，而他们是在乾隆年间兴建这间村屋。柴湾原有六村：罗屋、成屋、蓝屋、陆屋、西村和大坪村，都是客家村，但随市镇的发展，各村落便相继消失。罗屋博物馆已成为柴湾一带仅存的古村屋。客家古村落的消失，成就了香港岛成为国际大都市。
