柴绍的祖父柴烈曾是北周骠骑大将军，历任遂、梁二州刺史，封冠军县公。李渊的父亲李昞，北周时历官御史大夫、安州总管、柱国大将军，袭封唐国公。柴李两家早在李渊父亲那一代就关系不错，到了李渊这一代时，真正可以称得上是世交。

李渊与柴绍的父亲柴慎也颇有交情，也正是因为如此，所以早在柴绍与平阳公主还是小孩子时，两人就已经有了婚约，等到平阳公主到了及笄之年，她与柴绍就正式订亲，只不过当时窦皇后