无虑山主杜却谷及大乘期太上长老所在的无尽峰，颇有“一览众山小”的气势。

五峰六谷，以无尽峰山脚下的沐霞溪谷地势为最险，斜阳峰一侧的隐仙溪谷地势为最缓，故而气候迥异，适宜栽培的灵草仙芝也大不相同。

无虑山因地制宜，在山腰溪谷皆开辟了药圃灵田，并于田圃边上建了形态各异的小楼，供值守弟子居住。

除无尽峰由山主杜却谷亲自管理外，其余四峰六谷由炼虚期长老坐镇，为首的主理