當初，南中雍闿作亂，將他綁了送到東吳。
然后后來，是丞相諸葛亮派遣鄧芝出使吳國。
諸葛亮教鄧芝言談之間可向孫權提出請求放還張裔，也就是進行非刻意營救。
就像當年秦公五張羊皮換來百里奚那樣，諸葛亮擔心孫權知道他是個大才后會扣留下來不放回來。
營救過程不是很順利，被孫權警覺了，所以他拖著沒批準。
雖然當時匯報的時候，鄧芝表示的是：
張裔自從到吳國，幾年來一直流放隱居，孫權并不知道他這個人，故此準許了自己的請求放還張裔。
但實際上，張裔臨走前，還被孫權召見了。
而當時孫權放走，實際的根本原因是劉禪率軍在南中取得迅速而龐大的戰果，讓孫權不敢輕舉妄動。
孫權詢問他說：“蜀地卓氏的寡婦，和司馬相如私奔，貴地風俗怎么會是這個樣子？”
這句話實際上是在試探的招攬張裔，若是張裔有意留下來，孫權接下來便好親自出手招攬對方。
若是對方沒有這個意思，孫權也不用丟一次臉。
而張裔的回答很巧妙，他說：“我認為卓家守寡的女子，比朱買臣妻子賢慧得多。”
卓文君認定司馬相如，而朱買臣的妻子卻逼迫丈夫寫休書，二人看人的眼光不一樣，因而命運也就不一樣。
張裔是委婉的說自己看中了劉備的勢力，要回去。
孫權明白后，便又對張裔說：“你回國后，一定要為蜀國效力，終不會像個農夫呆在鄉間小巷里，那么你將用什么報答我呢？”
這就是威脅了，你小子既然就是要回去，那將來恐怕就是我的敵人啊。
我憑什么放你活著離開，給我一個降下不殺之恩的理由。
張裔回答說：“張裔負罪回國，將把自家性命交給朝廷安排；如果能僥幸保得住腦袋，則我五十八歲以前是父母給的生命，自此以后則是大王您恩賜的歲月。”
這意思是說，他本來就有喪職失土的罪責，回去是要被有司論罪的。
若是能僥幸活過五十八歲，之前我的命是父母給的，之后我都會感激您的恩德。
孫權歡悅地談論著，有欣賞張裔才能的意思。
張裔出孫權宮門后，十分后悔自己沒有裝糊涂，于是迅速上船，加速疾行。
孫權果然派人追留，但張裔已經進入永安界幾十里，追的人已趕不上他。
張裔回到蜀國后，丞相諸葛亮任命他為丞相府參軍，代行相府政務。
后來，劉禪北伐之前決定帶走諸葛亮，于是諸葛亮便讓張裔以射聲校尉身份兼任留府長史。
張裔經常稱贊諸葛亮說：“丞相賞賜不遺漏關系疏遠的人，懲罰不寬容關系親近的人，官爵無功不可得，刑罰富貴權勢不得免，這就是聰明能干者和愚昧平凡者都能忘身為國的原因。”
第二年，關中局勢對峙僵持之時，張裔北上去見諸葛亮咨詢有關事務。
當時送行的有數百人，車馬都堵滿道路。
張裔回信對親人說：“前幾天動身上路前，晝夜接待來訪的人客，得不到休息，人們敬重的是丞相長史這個職銜，兒子張君嗣附在這一職位上，故此疲倦得要死。”
他談吐詼諧機靈快捷，都像這樣。</p>