祁阳算是潭州最早的几个县治之所，三国年间就设立了，到现在已经将近千年了。

宋以前，祁阳均归属零陵郡，但因大夏立国之初，零陵郡毁于战火，开国圣上废了零陵郡，将祁阳归属衡州府。

现在祁阳人口近三十万，设十四乡，以山地、丘陵为主，水旱田占了差不多三分之一，算是非常不错的一个中等县了。

祁阳东边是衡州的平阳县，西边紧靠防备苗人而建的武冈军寨，北边是邵州，南边则是交州的