三僚村的廖家和曾家是当初杨公的廖、曾两位徒弟传下的后人，而两位徒弟将杨公当做父亲一样侍奉，所以后人也就将杨公祠当做自己的族祠。

但是，最先杨公祠是有两个，廖家和曾家各建了一个，只是后人廖家的杨公祠被破坏严重并且还没有大规模修葺好，加上又地处偏僻道路难行，所以便是慢慢被人给遗忘了，现在提到的杨公祠大部分是指的曾家的杨公祠。

曾家的杨公祠因为历史原因也早就破败不堪了，只是后