纯依靠枪，也不是长久之计，他还需要靠山。很幸运的是，靠山并不难找。因其安徽籍贯，加上手头的势力，使他很容易地搭上了段芝泉这条线。在段成为总里后，立刻以重礼馈赠，背李秀山而投皖。

虽然段芝泉门下颇有些力量，但是对于张宗尧这种能打仗的部队，肯定不会排斥。不但将他之前的罪行一概免除，连带他招募的部队，也有了编制，还发了军饷，并补充武器。对南作战开始后，张宗尧主动请缨，一家四兄弟挥师杀进了湖南。