来有两个，一个说是缘于一个神话故事。
唐代名相裴休贬任荆南节度使时，曾几度来益阳，小住在古木葱郁的江边山上。
裴休博学多能，喜欢佛学，夜深人静，他便在山上秉烛夜读，朗朗的诵经声，引得一只仙白鹿驻足聆听，每晚只要经声响起，仙白鹿就飞来听经。
一天晚上，白鹿听经的秘密被人发现，仙机泄露，再也不见有白鹿复来。
为纪念仙白鹿听经，山民便把白鹿驻足听经的风水宝地，命名为白鹿山