。因此，自那次夜战之后，他格外的看重卢嘉瑞，无论操演还是出战，甚至平时兵谋战略的思想，他都乐意跟卢嘉瑞商讨。卢嘉瑞常被叫到王将军那里谈事或闲话，他俨然成了王将军的谋士。
随着时间的推移，汴京渐渐地却出现了另外一些传言。也许是慵弱成了习惯，也许是对带兵将领一贯的疑忌，除非危亡在即，朝廷对带兵将领往往不待见。将军们越是能打越是可能遭受排抑。
王安远将军代州一战大破胡虏，当时得到了朝廷的嘉奖，也招徕了朝廷文官的嫉妒和皇上的猜忌。于是乎，时间一长，谗言就多起来，有说王将军深入辽国劫掠友邦，破坏了宋辽和平关系，势将导致边境不靖，战祸不绝，遗害难尽；有说王将军违慢圣旨，拥兵自重，不及时出兵，导致代州守城军民损失惨重，深受苦难；有说王将军将掳掠辽国财物中饱私囊，私将胡女收用；有说王将军归途防备松弛，耽于财货美色，遇上偷袭，兵将大有折损，还险些全军覆没；又有说王将军平时治军不严，还私自动用军力假借军需之名贩卖违禁货物；此等传言，不一而足。
谗言传出宫廷，就变成了流言，慢慢的传播天下各地，尤其传到了忻州。也许皇帝或朝廷文官大臣们放任且乐见这类流言的传播，好让在外带兵的将军们小心点，悠着点，别以为手里有了兵将，或打个胜仗什么的，就可以气高意得，须知前途命运还拿捏在朝廷皇帝大臣手里。
大宋立国以来的成例，向来是重文轻武，文官话事，武将轻三分的，还常常出现不习武事的文人甚至宦官执掌兵权或监军出战的怪事。
传言四起，王将军却不能淡定。以往的事例表明，这样的流言漫天飞，不管是否真实，最终流言的主角都是要倒霉的。于是，他赶紧上奏章自辩，但久久不见朝廷有批答下来，这让他更紧张。他只能再而三地上奏自表忠忱，终于盼下来一道朝旨，只是安慰诫勉的意思，并没有正面明确传言所及之事项，更没有确认他的清白。
王将军越发预感到不妙。他自忖流言涉及诸事，虽则应该没有留下什么明证实据，但也不能说自己都没有涉嫌。想想自己的过往作为，他渐渐地害怕起来。尤其是关于胡女的事情，他私下问了卢嘉瑞，卢嘉瑞也说从未告诉过别人。王将军当然是相信卢嘉瑞的，原来就是卢嘉瑞主动默然为他处理掉这手尾的，当然不会再跟别人说及。至于违慢圣旨，虽是为着战阵兵谋，只是朝廷要说你有你就有，辩白也没有什么作用。再说他私吞缴获的胡虏财货，私自动用军士贩运私货，他只能罗列各
…。。