到了明清时期，随着商业经济的进一步增长，牙人的数量大大增加，形成了一个专门的公会，称为“牙行”。到民国时期牙人进一步发展，其中一些倒卖外国商品的牙人就被国人起了个新的名字“买办”。

由于天生的逐利性，牙人多以狡猾，存在侵渔百姓，欺行霸市，敲诈哄骗，钻营渔利，收取高额佣金，损害双方利益的行为等危害。人民政府开始整顿，取缔牙行。之后建立交易所后，牙行和牙人就渐渐地消失在大众的视野中。