对他甚是妒恨。江彬随即想到一计，并且向皇帝进言，朱厚照听了大喜，立时向王守仁下了诏令：
先把宁王在鄱阳湖放了，好给朕亲自再攻打生擒他一次！
王守仁收到这道荒唐至令人哭笑不得的旨令，断然拒绝。
我十万义军，历尽凶险艰辛，耗了多少血汗，方才平定这场叛乱，擒得朱宸濠；怎可以为了满足圣上一战的欲望，就冒险将这危险人物放掉？
王守仁大胆地断然拒绝了旨意，而且为免再生枝节，马上带着朱宸濠等被俘的贼首起程前赴淮阳，欲亲自献予进发到当地的皇帝。
王守仁想面圣，除了要献出宁王了结此事外，也希望借机为六剑客辩白，洗刷罪名。
江彬等绝对不想给王守仁向圣上亲自献俘邀功，于是在朱厚照跟前大力诽谤王守仁，指控他在江西任官这些年，其实早就与宁王府私通，后来征伐朱宸濠，只为掩饰自己也是叛逆之一。
陛下请想想，他若不是早有准备，又知道南昌叛军的虚实，怎能如此迅速平乱？王守仁此人，绝不可信！
其他与江彬勾结的宠臣，也轮番在皇帝面前诬告王守仁有叛逆的嫌疑。朱厚照得知王守仁抗命，拒绝放了朱宸濠，就连前去索人的锦衣卫亦被他迫退，心里已大感不快，现在听了这许多谤言，对王守仁的忠诚生起了疑惑。
假如皇帝仍在京师的话，仍有一个兵部尚书王琼可以为王守仁说好话，可是此刻圣驾在外，几乎全受到江彬等人的左右。
幸好在这亲征的行列里，还有一个比较忠厚的人物，就是督领禁军的太监张永。张永长年受朱厚照宠信，虽也是恃宠专权的“八虎”之一，但行恶不多，更是告发大太监刘瑾并将之捉拿的功臣，在朝廷里风评尚可，领军治军亦确有实才。张永本身与江彬不睦，也欣赏王守仁的才干，知道王守仁此际被群妖所谤，情况实在甚危险，于是在半途的杭州城拦截王守仁，与他商讨情况。
得张永告知，王守仁才明白自己面前可能出现多大的灾祸，比起先前在战场之上，还要更凶险。
也更无能为力。
王守仁对于平乱之功本来就不看重，他心中顾念的只有天下百姓的安危。在杭州相会之时，他仔细打量眼前这个也是当朝权臣的大太监，判断对方是否足以信任。
张永当年虽然除掉奸臣刘瑾，但多少也是因为权争。不可因此就相信他是忠义之辈……
张永察知王守仁心意，但也不介怀，只是微微一笑。
“我知道，王大人并不完全信任我。”张永拍拍腿笑说：“可是大人你已没有选择。”
王守仁同意张永所说，于是下了决定，将朱宸濠就地交给张永，并上疏一道，向皇帝请求休官回乡。他与张永分别后，就暂居在西湖的“净慈寺”静养。
当张永把朱宸濠带回来时，江彬等人无不惊讶他们不是相信王守仁真的如此淡泊名位、权力与功劳，反之深信这个能在十几天就打胜一场大战的家伙，以退为进，必有更大图谋。
只因在他们的世界里，从没有不受权财诱惑之人。
这个王守仁，文武双全，心计周密，兼挟着平乱的威望。若他一朝得到圣上的赏识重用，对我是一个绝大的威胁。
江彬决心必要趁着这个机会，消灭此一潜在的劲敌。
在张永极力说好话之下，皇帝朱厚照对王守仁的不满平息了，立时下旨拒绝了他退休的请求，命他返回江西省会南昌，处理当地各样要务，抚顺民。
可是王守仁才到南昌任事没几天，江彬、许泰及太监张忠就率着两万边军到来，打着清剿宁王余党的旗号，进占了都察院为居所，纵放军兵在城内到处生事。王守仁当然知道，江彬此举旨在寻衅，想激使自己与他们三个领着王命而来的“特使”冲突，好再掀起“王守仁心怀叛逆之意”的说法。
眼见南昌百姓受害甚深，王守仁虽然不忍，但此刻的他就像被人用尖刀架着前胸后背，稍一个错误的举动就万劫不复，只可暂时坚忍不发。
相比战场上的明刀明枪，奸佞的暗箭，更令王守仁忧心苦恼。
此刻他与刘逊一起呷着闷茶，叹着气说：“还好我预先就把邢侠士他们遣走……若是此刻被对方碰见他们，那可真火上加油……”