胡三是个汉人，但又不是个普通的汉人，因为他以前是西夏人，而且还参加了西夏的擒生军，所谓擒生军，其实就是专门捕捉宋地的汉人到西夏卖做奴隶的军队，可以说胡三的所做所为早就该死了，只不过他的运气好，在宋军攻打鸣沙城时，他的长官就向大宋投降，结果使得他们保住了一条命，这次更是被调到交趾作战。

胡三从小没有读过书，自然也不认得字，不过他却有一个聪明的脑瓜，也正是靠着这颗灵光的脑袋，他才能在