大业十一年十月，太原留守李渊以勾结突厥罪将副留守高君雅和郡丞王威斩首示众，将其麾下部众尽数收编。随后，李渊又以“迎归圣上回关中”为旗号于太原起兵，自立为大将军，建大将军府。以长子李建成为陇西公，左领军大都督，次子李世民为敦煌公，右领军大将军，分兵两路直取关中。

晋阳宫监裴寂又献了晋阳宫，向李渊奉上兵甲四十万套，粮食近百万石，银钱和各种军资帐篷不计其数，致使李渊实力大增，很快就将兵