公元213年，張遼與臧霸同為征濡須口的前鋒，后攻破孫權江西營，擒獲孫權都督公孫陽。
公元214年五月，孫權親征皖城，張遼從合肥向皖城馳援，在增援途中得知皖城失守。
于是，張遼在硤石的南面迅速筑起了一座堡壘，作為合肥的前哨，同年七月曹操征伐孫權，同年十月曹操無功而返，自合肥還。
曹操在離開合肥時，帶走了大批部隊欲作西征之用，給屯駐合肥的張遼與樂進、李典等將領只留下了七千余人。
張遼得知曹操有西征之意，認為合肥即將孤立無援，孫權必會趁機來攻，于是開鑿了藏舟浦，用來隱藏舟船。
公元215年，曹操率領重兵西征張魯，讓護軍薛悌送去一封信函，信函邊還寫明，要在有敵人來攻時再打開來看。
不久，東吳首領孫權率領十萬大軍進圍合肥，張遼與諸將打開信，信中說：“若孫權軍來到，張、李將軍出戰，樂將軍守護軍，不得與戰。”
曹操只在信中明確了3位將領的分工，但是，完全沒有提及何時出城、何時撤退、出城人數、攻向哪里、如何接應等具體措施，況且，將在外君命有所不受。
因此合肥諸將們都充滿疑慮，張遼根據曹操遠征漢中而合肥缺乏后援的現狀，做出了分析，消除了諸將的疑惑，李典也對張遼所說的話表示贊同。
于是張遼在當夜募集敢于出城迎戰的精銳將士八百人，開剝牛支讓將士飽食，準備明日大戰。
天色剛亮，張遼被甲持戟，親自先登上直直陷敵陣，撕裂了東吳軍隊的防線。
在他率軍沖入東吳的中軍營壘之前，張遼就已經親自斬殺了數十名東吳士卒和兩名東吳將領。
他一邊大聲呼喊著自己的名號，一邊拼殺，沖入東吳的中軍營壘，此后，張遼率軍繼續猛攻，一直沖殺到孫權的主帥旗之下。
孫權見狀大驚，孫權身邊的眾將士也因驚慌失措而不知道該如何應付，于是孫權等人逃跑到一座較高的山冢上，用長戟來自衛。
張遼見敵方主帥退避，便叱喝孫權，挑釁他下來對戰，但孫權沒有輕舉妄動，隨后孫權發現張遼所率領的士兵非常少，于是聚攏東吳軍隊將張遼的部隊重重包圍。
張遼在吳軍陣中左沖右突，終于打開包圍圈，率領部下們突圍，雖然孫權帶領十萬大軍，以及呂蒙、甘寧、陳武、徐盛、宋謙、潘璋、賀齊、凌統、蔣欽等眾多的東吳名將一起進攻合肥。
但是張遼率領800人沖陣東吳十萬大軍，使得孫權以“走登高冢”的方式逃命，張遼突出重圍之后，為了救援那些身陷重圍的將士們而再次沖進入東吳十萬大軍。
猛將眾多的東吳軍隊都無法擋住張遼，最終被張遼擊破而敗走，從此，張遼威震江東，每當江東地區的小孩們啼哭不止，小孩們的父母就會說“張遼來了”來嚇唬小孩。