一个团体内部因为各种原因总会有人唱反调，提出不同的意见和看法，宇文部显然也不是特别团结，加上素利这个人的能力有限，威望也不是特别高，并不能完全服众。

在宇文剑明提出要保住秃发匹孤及慕容部之后，立即就有人站出来表示了反对，这人就是东部部落都尉宇文归义，他站出来说道：“可汗，我们要保秃发匹孤和慕容部也得有这个实力才行，连乌丸人都对汉人恭恭敬敬，咱们宇文部现在都还依附于乌丸