得罪了太多人，又被扒出他纵容门客，对门客的仇人刻意加重刑罚甚至处死等事，魏相的党羽，司直萧望之上奏弹劾：“广汉侮辱大臣，违逆节律伤害风化，乃不道之罪。”

数罪并罚，赵广汉丢了官，被廷尉断了个腰斩之刑。而长安吏民听说此事后，以为赵广汉清正廉明，威制豪强，都不希望他死，竟有数万人守东阙而嚎哭，纷纷说：“臣生无益县官，愿代赵京兆死，使牧养小民！”

这下皇帝也有些骑虎难下，还是老将军赵