再说，他身为理学宗师，又是文渊阁大学士——名义上的宰相，因此也做不出这样亏心的事情来。于是老老实实地复奏，说自己的前一个折子，语有不妥，“意中并无其人，不敢妄保”。
锋锐一挫，不免气馁，而一直奉他为老师的徐桐，居然也在他耳边，期期艾艾地说了些话，大意是听说关卓凡在江苏办洋务，似乎很收了点实效。
人人都知道，现在洋务的两端，一端是在京城，由恭王主持，一端是在上海，由关卓凡主持。现在连一向跟自己站在一起的徐桐都这样说，弄得倭仁很有些心灰意冷，反对洋务的言辞，也就不像原来那样激烈了。
没想到恭王见到关卓凡的头一个法子见了成效，大是起劲，心想倭仁是反洋务派的领袖，何不趁这个机会，再敲打敲打他？于是还不肯放过，把关卓凡的第二个法子也拿出来了，奏明两宫，召见倭仁，打算再派他一个总理大臣的职务。
这就更难堪了——以帝师之尊，平日里说说尚可，怎么好真的去跟洋鬼子打交道？然而体制所关，虽然明知道议政王是在开自己的玩笑，倭仁仍不得不硬了头皮，到养心殿面见两宫。
“倭师傅，你是三朝老臣，先帝特简的人。朝廷不管办什么事，自然都要格外借重你的威望。”慈禧跟恭王有默契，此刻说道，“现在打算再派你一个差使，兼总理大臣，在总理事务衙门行走，你看怎么样啊？”
“跟圣母皇太后回话，”倭仁真正是有苦说不出，只能想话出来推辞，“臣老迈衰微，在总理衙门行走，实在是力有未逮。”
“总理衙门，是总揽洋务的地方。说起跟洋人打交道，原是要有你这样的名宿，才能压得住阵脚，你又何必推辞？”
“臣……”倭仁无言以对之下，心里一急，不能不说实话了，“臣于洋务一事上，实在并不通晓，即使勉力而为，亦怕误了事。上书房的功课，是第一等的大事，请太后准臣专务于此，以尽本分。”
这一下，连慈安太后都听出来了，倭仁是真的不愿意接这个位子。她转头看看慈禧，对底下的恭王说：“六爷，既然这样，我看就免了吧，倭师傅年纪也大了，到底还是皇帝的功课要紧。”
倭仁拿皇帝的功课来做托辞，算是个过得去的理由，而且话里的意思，是从此不愿在洋务上多置一词。慈禧和恭王得了他这样一个表态，自然不为己甚，于是就着慈安太后的这句话下了坡，都表示同意。
倭仁松了一口，磕头谢恩，由恭王带着退了出去，今天的朝也就上完了
…。。