此时，山东长白山一带被镇压的义军头领李子通、杜伏威和辅公祏等人跑到了江淮一带，在下邳得到一批盗贼的拥护，他们钻出山林，又兼并了数股盗贼，实力大增。于是三个头领一商议不再打家劫舍，而是自称义军，矛头直接对准隋朝的官员。地方官派兵镇压，杜伏威作战勇猛，屡败隋军，杀官夺县，开仓放粮，四方响应，很快义军发展为十万多万人，不久，杜伏威被拥立为“大王”。

隋炀帝闻报大怒，派出宇文述