天子年幼，并未掌权，且远在千里之外的长安，又如何下发诏令罢免自己的职位？

就算能够下发诏令，但天子为何要罢免自己？

自己身为宗室，怎么也比二袁之流与天子更为亲近。

再者，自废史立牧后，朝廷式微已成定局，一封天子诏书又算得了什么。

所以就只剩一个可能，那就是刘备对自己早有图谋，所以才矫诏行事。