原来子晴出自京都贺家，世代皇商，主要经营香料与丝绸，父亲贺林，娶妻京都玉林候府庶女张氏，也算是高门低嫁，子晴是长女，下面还有两个妹妹和一个弟弟，在子晴五岁时，订下了一桩亲事，对方是母亲的手帕交之子。

母亲在小弟弟两岁那年去世，父亲于次年又娶妻于氏。

祖母担心几个姐弟被虐待，就建议将她们接到自己身边教养，没想到，于氏为了自己的名声，苦求老夫人将孩子们交给自己，祖母考