这里驻扎有江南第二强大的军队，共计五万人，仅次于南疆边境的十万大军，虽说边境的十万大军名义上的统帅也是楚王，但还是受朝廷节制，非虎符不可调动，而江陵大营这五万大军则不一样，它是朝廷为了震慑刚归顺大汉的夜秦、南蛮和安南，而准许楚王设立的私兵，以作为机动力量拱卫江南防线。

整个大汉朝有如此兵力的藩王，除了楚王，也就是齐王了。他们二人一个镇守江南，一个镇守北方，是朝廷的南北两大支柱。