他年轻时做过第一代昌邑王刘髀的郎官，昌邑王入朝时，许广汉也一同来长安，跟随孝武皇帝游幸至甘泉宫。他因为被同僚灌了几杯酒，离开时昏昏沉沉，误取走甘泉宫郎官的马鞍，放在自己的坐骑上。

“我真只是喝多了误拿，绝非偷盗！”

许广汉如此为自己辩解，本来昌邑王可以保下他的，可才过了几天，李广利叛国投降匈奴的消息传来，李氏全家被族，昌邑王自顾不暇，所以也管不了许广汉了。