峻在郡三年去世，灵柩运回成都安葬。刘备对霍峻之死非常痛惜，率领群僚参加霍峻葬礼，并留宿霍峻墓上，养其子霍弋于府上。

章武元年，刘备称帝，建立蜀汉政权，立刘禅为太子，霍弋被刘备任命为太子舍人。

章武三年，刘备去世，太子刘禅即位，任用霍弋为谒者，伴随刘禅左右掌管传达等事。

建兴五年，丞相诸葛亮北往驻守汉中，准备北伐事宜，于是征召霍弋到丞相府，担任记室，让他与自己的养子诸葛