其后，到了曹操麾下，张郃的才能也算是得到了施展之地。
张郃先是跟随曹操攻打邺城，占领了邺城。其后又跟随曹操到渤海攻打袁谭。他单独率军包围了雍奴，击溃了袁军。随同曹操征讨柳城的时候，张郃和张辽担任先锋，张郃因为屡立战功升任平狄将军。张郃还领兵征讨东莱郡，讨伐管承。还和张辽等人一起讨伐陈兰、梅成等人，大获全胜。张郃跟随曹操到渭南，击溃了马超、韩遂等，又包围了安定，杨秋投降。张郃、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一代的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区。
建安二十年，曹操西征张鲁，抵达陈仓，准备从武都郡进入氐族部落；氐族人挡住道路。曹操派张郃统帅大军讨伐梁兴和氐族首领窦茂所部。不久从散关入汉中，派张郃率五千步兵在前开道，一直到阳平。张鲁投降，曹操回军，留张郃与夏侯渊、徐晃等守汉中，以拒刘备。同年，张郃别督诸军南下进攻巴东、巴西二郡，将当地百姓迁徙到汉中。刘备派征虏将军张飞为巴西郡太守，抗击张郃。张郃率军进至宕渠，与张飞相拒五十余日。张飞率精兵万余人从小道进攻张郃，由于山道狭窄，首尾不能相救，张郃大败。仅带十余人弃马爬山逃跑，之后收拢败兵，撤回南郑。
建安二十四年，刘备亲自率精兵万余人，分为十部，夜间猛攻张郃。张郃率亲兵与蜀军进行对抗。刘备不能攻克张郃，写信要求益州拨发援兵。诸葛亮一时迟疑不缺，从事杨洪劝道：“汉中是益州门户，没有汉中就没有益州，还迟疑什么？”诸葛亮恍然大悟，立刻发兵增援。
其后，刘备退走马谷，放火烧营，夏侯渊知张郃兵少，调部分兵力来增援，并救火，途中遇上刘备军，被蜀军所杀。曹军大败，张郃同败军一起退守阳平关东。而当刘备听闻夏侯渊被斩杀，只说：“要杀就杀张郃，杀夏侯渊有什么用！”
司马郭淮和督军杜袭收敛散卒，郭淮见状，便说：“张将军是国家的名将，刘备也忌惮他。现在形势紧迫，只有张将军才能安定军心。”于是众人推举张郃出任主帅，指挥士兵，布置营寨，军心安定。不久，曹操遣使令张郃假节。刘备欲渡汉水来攻，见魏军在汉水以北列阵相迎，刘备于是放弃渡河，隔水相持。曹操亲自进攻汉中，不能取胜，于是撤出汉中的部队，令张郃屯兵于陈仓。
太和二年，蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮。当时朝臣未知计所出，曹叡自信地说：“诸葛亮恃险固守，不易进攻。现在他自动来了，正符合引出敌人的战术。打败诸葛亮是一定的了。”
于是曹叡给张郃加官特进，让他总督各路军马，在街亭阻挡诸葛亮的部将马谡。马谡依傍险要的南山扎寨，没有下山占据城池。张郃断绝了他取水的道路，然後发起进攻，大败马谡。南安、天水、安定各郡反叛魏国响应诸葛亮，张郃领兵平定了这几处地方。曹叡下诏说：“贼寇诸葛亮率领巴、蜀的乌合之众，遇上了猛虎一样的我军将士。将军您披肩甲、执利器，攻无不克，朕要嘉奖你的大功，增加你的食邑一千户，连同一千的赏赐共计四千三百户。”
当时司马懿在荆州治理水军，打算沿著沔水进入长江讨伐东吴，曹叡下诏命令张郃统帅关中的部队接受司马懿的指挥。张郃到达荆州时，正赶上冬季水浅，大船不能行进，于是回师方城驻扎。太和三年，诸葛亮再次出祁山，对陈仓发动猛烈进攻。曹叡派驿马召张郃到京师，还亲自到河南县城，设置酒宴为张郃送行。曹叡派遣三万士兵以及武卫、虎贲两营的勇士护卫张郃，还问张郃：“等将军到了前线，诸葛亮会不会已经占领了陈仓？”张郃知道诸葛亮孤军深入，不会携带太多的粮草，不能久攻，就回答说：“估计臣还没到前线诸葛亮就已经撤走了。臣屈指计算，诸葛亮的粮草支撑不了十天。”张郃昼夜行军到达南郑，诸葛亮果然撤退了。曹叡诏令张郃回师京城，任命他为征西车骑将军。
张郃在曹魏势力的发家史就犹如火箭升空般的上窜，令人惊叹不已。虽然张郃最后中计身亡，但是，他至少也光辉耀眼过，已经足够了。而反观跟随张郃一起投效的高览，最终却是湮没在了历史的长河之中，虽然似高览这等人很多，却也还是令人觉得惋惜。
且说袁绍让众人推荐驻守并州和青州的大将，袁绍麾下的一干谋士和武将却是默然无语，无人站出来推荐。
主要原因还在于如今的张郃和高览的能力还未得到认可，否则，自然是有人推荐他们二人，至少田丰是不会有任何的私心。奈何，虽然张郃此前在幽州战事的时候露了一把脸，可惜却并不是很耀眼，故此，张郃依然还未发光。
除了张郃和高览之外，袁绍麾下的将领除了颜良和文丑武力高超之外，其余的似乎都是一些当地有些名气，有点武力，却无多少才能的将领。看袁绍招收的将领，也不