" />
郭图因为自己的计谋失败而感到惭愧，于是诬陷道：
"张郃对我军的失败感到高兴，并且出言不逊。"
张郃等将领惧怕被追究，于是烧掉了攻城橹，投降了曹操，曹操对张郃的投降感到高兴，亲自迎接并称"如微子去殷，韩信归汉也"，并将张郃拜为偏将军、封为都亭侯。
后来张郃颇受曹操重用，交给其部队，让他跟随自己攻打邺城，占领了邺城。
张郃又跟随曹操到渤海攻打袁谭，他单独率军包围了雍奴，击溃了**。
随同曹操征讨柳城的时候，张郃和张辽担任先锋，在白狼山之战中，受张辽指挥，大破乌桓，斩蹋顿及名王以下十余人，俘虏二十余万人，最终讨平乌桓，彻底铲除袁氏残余，张郃因为屡立战功升任平狄将军。
张郃还领兵征讨东莱郡，讨伐管承，后来，张郃与牛盖等人受到张辽的督领，一起讨伐**、梅成等人，在天柱山之战中大获全胜。
张郃跟随曹操到渭南，击溃了马超、韩遂等，又包围了安定，杨秋投降。
张郃、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一带的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区。
建安二十年，曹操西征张鲁，抵达陈仓，准备从武都郡进入氐族部落，氐族人挡住道路，曹操派张郃统帅大军讨伐梁兴和氐族首领窦茂所部。
不久从散关入汉中，派张郃率五千步兵在前开道，一直到阳平，张鲁投降，曹操回军，留张郃与夏侯渊、徐晃等守汉中，以拒刘备。
同年，张郃别督诸军南下进攻巴东、巴西二郡，将当地百姓迁徙到汉中，刘备派征虏将军张飞为巴西郡太守，抗击张郃。
张郃率军进至宕渠，与张飞相拒五十余日，张飞率精兵万余人从小道进攻张郃。
由于山道狭窄，首尾不能相救，张郃大败，仅带十余人弃马爬山逃跑，之后收拢败兵，撤回南郑。
原来的荡寇将军张辽因为威震逍遥津而升迁为征东将军，于是，张郃补位此职，被拜为荡寇将军。
建安二十三年，刘备进攻汉中，屯于阳平，夏侯渊、张郃、徐晃等率军迎击，张郃负责防守广石。
建安二十四年，刘备亲自率精兵万余人，分为十部，夜间猛攻张郃。
张郃率亲兵与蜀军进行对抗，刘备不能攻克张郃，写信要求益州拨发援兵，诸葛亮一时迟疑不决，从事杨洪劝道：
"汉中是益州门户，没有汉中就
…。。