还没出现时，阴阳道受到打压时，不可谓是不凄惨，原本神社社地广阔，但后面又因为战火和丰臣秀吉整备都市等原因逐渐缩小，神殿几近荒芜。

直到幕末以后，晴明子孙才整修了社殿及境内院落，恢复了神社的荣光。

但这里面其实还有一个很别扭的问题，那就是神社是神道的，而安倍晴明是阴阳道的，一个神道的给阴阳道的代表人物设立神社，怎么看都像是嘲讽，更何况现在神道一家如日中天，还成为了岛国国道。