衙署的建制是前衙后宅，杨安玄封雍公后，在衙署的北面新辟了三进两出院落，前院是书房、客房和待客之所，校场亦设在前院；中院分成两个院落，东院住着孔苗、杨愔夫妻以及杨莹，西面住着阴慧珍、杨翼和杨锐；后院则是袁氏的住处、佛堂和花园。

杨安玄有三子一女，长子杨愔，次子杨翼，三子杨锐，女儿杨莹最小。杨愔被立为世子，因为杨安玄常年征战在外，对子女的教育不多，杨愔的教育多由学宫的老师