杨老太爷来看他时，已听他唠叼过祖上的光辉事迹，据说他们是山西杨家将的后人，属于元朝龙虎卫上将军杨友这一支的直系血脉，洪武年间，一位叫杨顺德的祖先迁来此地，形成怀来杨家，杨凌听了当时还真惊怔了半天。

不过杨家将枝繁叶茂，子孙满堂，北汉、北周，宋、元、明各朝都有杨家后人入朝为官，每一朝都有杰出后人成为高官，显贵岂止百年。故此穿凿附会、因为姓杨而攀附杨家将的大有人在，所以杨凌对此一直半信半疑。