过三年的马邑郡丞，负责一郡的兵马军务。那个时候，马邑太守是王仁恭，隋朝的一员名将。更顶头的上司，则是李渊，那时李渊是太原留守。

当初他发现李渊暗中招兵买马，有谋反之意，便故意假装犯罪，然后让人把自己押去长安，准备转道去江都见杨广，向皇帝告发李渊谋反之罪。那一去，只到达了长安，然后李渊果然起兵，一路打到了长安，他没能去成江都，还差点被李渊砍了脑袋，但最后得李世民求情救下，此后为李家打天下，