第五伦就派马援率军过来袭扰，丰沛是汉军兵力所及的边缘，刘秀不愿在此与魏军角逐，选择回撤，忍痛放弃了这高祖龙兴之地。

他一走，丰沛众人也跟着跑，不知从何时起，就传出了第五伦仇视汉家，要将天下诸刘、汉朝旧党赶尽杀绝的谣言，丰沛十万百姓亦在其列。

于是丰沛遂空，多数人跑到了徐州，就落脚在彭城、下邳等地。也有部分钻进了刘邦斩白蛇的沛西大泽山地，结寨自保，想在那儿等待乱世结束：盗匪猛虎哪