香江港督府位于上亚厘毕道，背山面海，地理位置优越，既可以远眺维多利亚港美丽海景，又可以俯瞰中区繁忙市景。旁边为圣约翰教堂，后边则是动植物公园。

1841年，英国占领香江之后，便将现在的花园道、上亚厘毕道至己连拿利的山坡划为政府山，并于1851年破土动工，历时四年，终于建成港督府。

港督府并非港英政府办公中心，而是专供港督栖居之所，同时也是一座礼宾台，负责接待重要访客。最