下邳开始沿途修筑城垒，时过四年多，这些城垒多数荒弃倒塌。刘怀慎命人修复好琅琊郡内的城垒,接着派出役夫进入东莞郡修复城垒，结果第二天便遇到了盗贼，护卫的兵马被逐散，役夫掳走，城垒捣毁。

刘怀慎大怒，以北冀州刺史的身份下令，严令别驾胡藩和司马郭清尽快扫平境内匪患，从东莞城到广固城，每隔二十里便要筑起一处城垒。

胡藩回文，三月正是农忙之时，不好征役,等七月秋收