高阳，但许绍祖父和父亲都任过楚州刺史，所以移民楚州，成为当地豪强，李渊父亲李师曾做过安州总管，因此许绍跟李渊小时同学，关系特别友爱。

靠着这关系，许家在唐朝地位不错。

尤其是当年李靖刚归唐后奉旨南下讨伐萧铣，结果出师不利，李渊让许绍斩李靖，许绍特意为李靖求情，李渊这才没杀李靖，后来李靖平东南，至贞观时为宰相，许家也因此多得李靖照顾。

而秦琅跟许家关系也还不错，比如许圉