开发西南的过程中,早去的移民,担任了相当重要的角色。开发西南夷的第一步,也就是开发四川地区时早来的移民,如卓王孙以及他的女婿司马相如,在不同的时代都担任过汉人向西南扩充的马前卒,或是前卫工作。司马相如和他的妻子文君的家族先人,是秦朝建立时,被发配到四川开拓的六国人民,工作包括采盐、冶铁,以及深入少数民族地区做贸易,甚至掠夺少数地区的人民,贩卖到汉人的地区做童仆。同样的,在汉代开发东南地区时,例如会稽郡(今天江浙地区),进入山地的也是早期到达的汉人。当时著名的朱买臣,就是一个移入越人地区的汉人,后来帮助汉帝国开发这个地区,担任了会稽太守。
这一类的活动用今天的解释来说,是汉帝国的扩张。而受到汉帝国扩张影响的,是无数的少数民族。少数民族因为经济水平比较低,基本上还只是山林地区的粗放农业,无法抵拒汉人的经济力量。汉人的开拓力量,第一步是贸易,接下去是垦殖,最后是军事和政治力量。
这些少数民族有没有剩下来的遗留呢?应当还有。譬如说,晚到唐代的时候,湖南的道县,还有一种非常矮的居民,颜色黑,个儿矮,显然与汉人种族很不相同。我个人认为今天的海洋小矮人,就是他们的同种。这些零零碎碎的数据,使我们知道山区真正当地的原居民,当还遗留了相当长久的时间。不过,在他们语言文化都被汉文化同化以后,当然就没有办法找到他们是谁了。

开发西南地区有一个特殊的现象,就是行政单位叫作“道”。道是一个直线,是一个点,也不是个面。从一条线,慢慢扩张,然后成为一个面,建立一个行政单位。这个过程也许是跟着贸易一步一步向前走,紧随贸易活动跟进去的是移民,移民后面跟进去的是军事力量和行政力量。汉帝国的扩充,是线状的扩充，线的扩充能够掌握一定的面时,才在那个地区建立郡县。这种扩充方式,在后来新开发的地区,如东北、西北,都有类似的发展。不过,西南的发展模式非常清楚,是由一条线变成一个面,然后设立郡县,纳入汉帝国的行政网之内。

《汉书·西南夷传》上面所说的哀牢、邛都、滇等许多西南地区各种民族的文化包括他们的衣着、生活方式、族群名称,因为数据相当简单,不容易和今日西南的族群配对。我们必须了解,今日西南族群又经过了一两千年的迁移和融合,不可能等于当年的族群。西南中国山林密布,山高谷深,自古以来一定是每一个地区都有不同的族群。以今天的族群分布来看,像云南地带,山顶上是一种族群,谷地里是一种族群山谷之间的高山湖谷地又是一种族群。
向西南夷开发的三条大路,实际上都从成都辐射下去。第一条大路是向西南进入了澜沧江:第二条是向南进入了红河以及西江,然后向西联系到缅甸,向南联系到广东;第三条则是正西方,朝向青康藏的一条大。这三条大道在汉朝逐渐变成网状,许多新的郡县出现。但是这个网的密度,和前述的湖南、江西、广东、福建的网络相比,要稀疏得多。换言之,这一个网络并没有大量的汉人人口移入,只有少许移民进去,使当地人同化,或是汉帝国强大的军事和行政力量,收罗了这些少数民族,然后使他们在汉帝国的行政治理之下,逐步同化。
必须要提醒的,是汉朝的交州,也就是今天越南的北部,那边的郡县,主要是与广东地区联系,只有一小部分是和西南夷联系。汉帝国政府在交州的行政网络,比西南地区细密。这是个很奇怪的现象,离汉朝本部越远的交州,反而有更密的行政网,其原故就是西南地区的山地交通困难。

最后大规模地清理洞庭湖、鄱阳湖以南,以及皖南和东南沿海丘陵的大片山林地区,是在三国时期的吴国。吴国的很多军事行动,实际上不在北方进行,而是在南方做开拓的工作,亦即收服山越。吴军进入山区,把大量的人口、财富变成可以动员的资源。吴国能够抵抗北方强大的魏国,靠的就是这些新开的资源。

西汉的晚期与东汉的上半段,开发南方还是大事。这时可见两种族群,一种称为“蛮”,一种称为“山越”。他们居住的地区,都是在大路两边。蛮与山越的关系,大概是有区别的,山越可能是原来越人的后裔,蛮人可能是从西南中国填补了越人剩下的空虚地方最主要是在湖南和江西。这两群人抵拒汉人殖民,有相当长一段时间。

汉人进入南方,整体说来,是一个全面向前推动、渗透、同化的过程。相对来说,北方是冲突和敌对;南方是一步一步地归并到汉族文化区之内。