上疏为盖宽饶说话的人，若盖宽饶不死，皇帝也不会搭理杨恽，可如今天子有些难堪，遂迁怒于杨恽，罢免了他的大鸿胪之职，赶回家思过。

“西安侯是知道的，子幼为人无私，有文采，但尖酸刻薄，在朝中结怨很多，这些年若非西安侯护着他，陛下忍着他，这九卿早就做不下去了。”

盖宽饶死后，杨恽有些悲愤，也预料到自己必将受牵连，对张敞说：“胫胫者未必全也，我也不能自保，正如古人所说，鼠不容穴衔篓数者也