别是山区的南蛮，给大军带来了沉重的压力。
如今大军在撤军，稳固胜利果实之间摇摆不定，需要赵匡胤做出决定。
“溪峒蛮獠等民族从唐朝开始，时常侵犯内地，成为百姓的一大祸患。南汉刘鋹几次派兵侵犯桂阳、江华等地，与那些南蛮形成了合纵，如今兵力不足，应以稳妥为主。”
这是赵光义的话，听意思是想要撤兵。
不过高怀德坚决反对说道：“溪峒蛮獠这些蛮族只是凭仗地利，打了就跑，才占据优势。他们人少，实则无关紧要，若有再犯，可命仲询（潘美）先剿灭他们老巢，哪怕死人，也不能撤兵。”
见赵德昭走了进来，赵匡胤扭头问道：“二哥儿，以你之见这兵是该进该退？”
对这段历史赵德昭很熟悉，知道潘美进攻到郴州只用了一年，可是后来消化这个区域，却用了五年。
一直到970年，宋朝才将湖南这片区域稳定下来，随后一路向西南进攻广西，又折返回广东。
只用了一年，就攻破了南汉的都城，覆灭了南汉。
赵德昭看了看地图，说道：“退兵是决计不可行之事，今日一退，来日想要南下，又要真刀真枪拼杀许久。
但如今防御使如今兵力不足，也难以再进。故此，可命他以潭州为基地，安抚民生，待潭州稳定，再行南下。”
宋朝平定湖南叛将汪端后，人心不安，到处都有反叛。于是潘美从行营都监被任命潭州（今湖南长沙）防御使。
赵德昭这样一说，赵光义问道：“要是南汉与南唐合兵，潘仲询如何应对？”
赵德昭嘿嘿笑道：“南唐将士软弱无能，不求有功但求无过。至于南汉，刘鋹听信妖医，要求所有将士自宫。现在能打仗的将领都变成了阉人，难道我们还会怕一群阉人吗？”
赵光义瞠目结舌。“这是流言，如何可信？”