楚虎儿是东土默特部左翼前旗，他和本翼三旗的绝大多数牧民一样，并非土默特人，而是兀良哈人。如今的喀尔沁部族，其实也跟他们一样，打着黄金家族旗号的兀良哈人。

明初，漠北蒙古分为三部，兀良哈、鞑靼、瓦剌。其中兀良哈居于西辽河老哈河一带，最靠近中原。因此也是最早归附明朝的蒙古人，明初曾被编为朵颜三卫。

此后，兀良哈人后先依附鞑靼，再依附瓦剌，屡犯中原边境。再到蒙古左右翼争斗，兀