以褒答，5月，署刑部右侍郎，10月，充顺天武乡试正考官。
咸丰二年正月，曾国藩署吏部左侍郎，6月，充江西乡试正考官，途中因母丧归家。
这时太平天国运动已席卷半个中国，尽管清政府从全国各地调集大量八旗军、绿营官兵来对付太平军，可是这支腐朽的武装已不堪一战。
因此，清政府屡次颁发奖励团练的命令，力图利用各地的地主武装来遏制太平军势力的发展，这就为曾国藩的湘军的出现，提供了一个机会，11月，清政府命令曾国藩和湖南巡抚张亮基办理团练。
咸丰三年，借着清政府急于寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方团练，称为湘勇，并清廷上书征用了还只是都司的塔齐布。
8月，获准在衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力”，并派人赴广东购买西洋火炮，筹建水师。
在团练湘勇期间，严肃军纪，开辟新的军队，先后将5000人的湘勇分为塔、罗、王、李等十营，并将团练地点由长沙迁至湘潭，避免与长沙的绿营发生直接矛盾。
咸丰四年2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》，在这篇檄文里，声称太平天国运动是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。
此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”。
接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。
曾国藩命褚汝航为水军统领，塔齐布为陆军先锋，率大小船舰240艘，水陆大军17000人，挥师东下，3月，岳州战事不利。
4月，在靖港水战中又被太平军石祥贞部击败，曾国藩愤而投水自尽，幸被幕僚章寿麟所救。
因战事不利，曾国藩得旨革职，此时，塔齐布与守备杨载福、知县彭玉麟带领陆军攻克湘潭，7月25日，曾国藩重整水陆各军后，出师攻陷岳州。
击杀太平军曾天养，并攻克城陵矶，因功赏三品顶戴，10月14日，取武昌、汉阳，因功赏二品顶戴， 署湖北巡抚，赏戴花翎。
因曾国藩努力推辞，而赏兵部侍郎衔，12月2日，攻陷田家镇，杀敌数万，焚舟五千，进围
…。。