李牧成立锦衣卫时，袁天罡便有所觉。但锦衣卫在李重义做指挥使的时候，职能更偏向明面上，他没有给予足够的重视。当独孤九做了指挥使的时候，他重视起来，却发现已经阻止不了了。独孤九的手下，都是江湖上的高手，而他手底下的不良人，多是普通老百姓，双方暗中碰了几次，都以不良人这边死伤告终。

也是在这个时候，发生了刺杀事件，李世民对袁天罡表现出了不满。与此同时，东厂西厂的成立，彻底把李牧推向了袁天罡