赵佗在岭南的统治日益巩固，南海郡成为岭南的政治与经济中心。然而，这种统一的表象下，内部分裂的隐患却逐渐显现。北方移民与岭南土著之间的矛盾日趋激化，而赵光作为被封为苍梧王的土著领袖，面对复杂局势，也变得愈发犹疑。

岭南自古地势复杂，生活着许多独立自治的部落。他们的文化与生活方式与中原截然不同，北方移民的大量迁入，不仅改变了他们的传统生活，也进一步加剧了资源的竞争。