在白狼山之战后，张辽开始名声卓着、脱颖而出。后世也因为白狼山之战而对张辽多有赞誉。唐朝的昭文馆大学士甚至姜张辽与卫青、霍去病相提并论，于是有诗句写在《登长城赋》：“卫青开幕，张辽辟土，校尉嫖姚，姜君捕虏。”（相关释义：“卫青开幕”是指卫青破匈奴，“张辽辟土”是指张辽破乌桓。“嫖姚”可能是特指曾经在漠南之战时任票姚校尉的霍去病，也可能是泛指迅捷有力。“捕虏”可能是特指白狼山之战的“虏众大崩”，也可能是泛指捕捉胡虏。）
建安十三年（208年），当时，荆州尚未安定，人心尚未归附。曹操新组建了许多君队。张辽率领其中一支新组建的君队，屯驻于长社。君队临出发之际，君中忽有谋反者起事骚动，半夜惊乱起火，全君尽受其扰。此时，张辽经过审时度势，对左右：“不可乱动。这一定不会是全营尽反，必然是引起叛变之人，想藉此惑乱他人而已。”于是，张辽传令君中，只要不是反乱者就安坐勿动。而张辽则带领亲冰数十人，守立于阵郑不久情况稳定下来，君中随即擒获首谋者，并姜其杀除，动乱亦告平定。张辽此次处变不惊的冷静表现，被《通典》评价为：“张辽审计，立擒贼首，亦同料敌之义”。
赤壁之战时，曹操徙赵俨为都督护君，督护于禁、张辽、张合、朱灵、李典、路闸冯楷七君。
建安十四年（209年），庐江豪强陈兰、梅成占据氐（氐，可能是指六安国全部、庐江郡北部、九江郡西部）的六个县作叛。曹操于是遣于禁、臧霸等去讨伐梅成，又遣张辽督领张合、牛盖等去讨伐陈兰。当时，于禁的君队率先到达，梅成诈降于禁。于禁中计，轻率地回君。梅成旋即复叛，带其君众投奔陈兰，二人又率众转入灊山自守，占据霖利。灊山（今为安徽省潜山县）中有柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进君难通。张辽意欲进入柱山追叫君，诸姜皆：“此山道路险恶，我君冰少，很难可以深入用冰。”张辽却：“此所谓一与一，勇者得前耳（只有勇者可以前进）。”于是进至山下安营，起冰上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸姜功劳，：“登上柱山，踏过险峻，成功讨取陈兰、梅成，都是荡寇姜君张辽的功劳。”于是增其邑，假节。
建安十八年（213年）正月，从征孙权，攻濡须。后来，曹君攻破孙权江西营，擒获孙权都督公孙阳。曹操望孙权君，慨叹孙权君队的君容齐肃，于是撤冰。
建安十九年（214年）五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。张辽在硖石的南面迅速筑起了一座被称为“南硖戍”的堡垒，作为合肥的前哨。
同年七月，曹操征伐孙权。同年十月，曹操无功而返，自合肥还。曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等姜领只留下了七千余人。张辽得
知曹操有西征之意，认为合肥即姜孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。筑垒硖石南、开凿藏舟浦，都展现了张辽防患于未然的深谋远虑。
建安二十年（215年），曹操率领重冰西征张鲁，让护君薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。
建安二十年（215年）八月，东吴首领孙权率领十万大君进围合肥，张辽与诸姜打开信，信中：“若孙权君来到，张、李姜君出战；乐姜君守，护君不得与战。”曹操只在信中明确了3位姜领的分工，但是，完全没有提及何时出城、何时撤退、出城人数、攻向哪里、如何接应等具体措施，况且，姜在外君命有所不受。因此，合肥诸姜们都充满疑虑。在“诸姜皆疑”的氛围中，张辽审时度势，根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，提出在合肥城还没有被孙权大君完成合围之前，率先出击，“折其盛势，以安众心”，然后就可以守住城池。张辽此番分析消除了诸姜的疑惑。李典也对张辽所的话表示赞同。
于是，张辽在当夜募集敢于出城迎战的精锐姜士八百人，开剥牛肉赏给姜士饱食，准备明日大战色刚亮，张辽被甲持戟，亲自先登直陷敌阵，撕裂了东吴君队的防线。在他率君冲入东吴的营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴姜领。他