西厂的行径，让广大官员十分不满。他们完全不按照证据、程序抓人，非常随意，有时候行李东西放多了，看起来鼓鼓的，西厂校尉就可以把你抓过去，看是不是有反动的材料；有时被别人恶意举报了，连证据都没有，他们也可以抓人。看谁不舒服就逮谁，容易形成冤假错案，他们还滥用私刑，肆意凌辱，弄得京城内外人心惶惶。大学士商辂、万安、刘吉等人上奏，要求革去西厂，罢免汪直。他们说：京城三品以上官员，何等尊贵，汪直敢擅自查抄，眼里还有我们这些人吗？宣府、大同，边关重地，守备片刻都不能空缺，结果西厂一天抓好几个守备，使手头上的工作都没有人做。南京是大明的故都，南中国的政治中心，留守大臣，西厂想动就动。如果不罢免汪直，官员们无法安心于政务，商人们无法安心于经商，老百姓都无法安居乐业，生怕哪天得罪了西厂校尉，编个莫须有的罪名，便会将你活活整死。
朱见深收到商大人的奏章，十分不理解，这汪直侦破了好几个大案，有什么不好的，非要把西厂给撤掉，把本人给免职。于是他派司礼监太监怀恩去内阁，厉声传旨，责问汪直到底有哪点不好？这份奏章，谁是幕后主使？商辂没有被怀恩的气势吓倒，大声说，汪直违背了祖宗家法，他的行为使朝廷失去了民心，文武百官黎民百姓人心惶惶，我这样做是为了给朝廷除害，没有什么主使同谋。万安也连忙表态说，这份奏章是我们共同的意见，完全出于忠心，如果要罚，把我们一起罚了。司礼监太监怀恩也对汪直不满，此次前来，只是因为领导指派，并非心里也站在皇帝一边。于是大家一起反对汪直，六部的尚书也站出来声援。舆论压力下，朱见深宣布废掉西厂，汪直还是回御马监上班，但对他的信任并没有丝毫下降。