因为孙豹立功，且在当地有威望，主政的霍光直接以其为郡守，一干就是十多年，因为当地多是蛮夷，没法像内地编户齐民那样征收赋税，所以仍是征收珍珠、广幅布作为贡品。只是交趾刺史部极少渡海去岛上监督，导致地方官吏苛暴，侵侮蛮夷，反抗和举事此起彼伏，大汉难以管控，始元五年(公元前82)夏不得不废儋耳郡，并入珠崖郡。

朝中有人提出，海岛郡县的叛乱，是因为官吏借口广幅布之贡横征暴敛导致，不如直接取消。