張縱的父親名叫張景之，二十多年前，他曾經是崇賢館的學士，負責在崇賢館教書，而崇賢館則是為太子培養人才的地方，能在這里上學的人大都是皇親國戚，或是朝中重臣之子，可以說十分的重要。
當時的太子名叫李忠，也是皇帝李治的長子，現任太子李弘的長兄，他本是宮人所生，只是當時的王皇后無子，所以將他過繼為子，從而被立為太子。
然而王皇后卻遇到了武媚娘這個對手，最后不但丟了后位，而且還死于武媚娘之手，據說她和蕭淑妃被砍掉手腳裝到酒壇之中，慘號數日而亡。
王皇后死了，李忠最大的依靠也就沒有了，這也讓他惶惶不可終日，東宮原來的屬官也是人心離散，畢竟誰都知道李忠這個太子遲早都要被廢，時任禮部尚書的許敬宗更是直接上書李治，明言要求廢掉李忠，改立三歲的李弘為太子。
可以說當時誰都能看出李忠大勢已去，偏偏在這個時候，崇賢館的一位學士病故，如果放在平時，肯定有無數人搶破頭，但在這個關鍵時刻，卻無人愿意繼任，而這時張縱的父親張景之還只是直學士，崇賢館中五品以上稱為學士，六品下只能是直學士。
李弘介紹過上面的背景后，接著繼續開口道：“當時我大哥只有十幾歲，大概和三郎差不多大，也同樣在崇賢館中讀書，在看到無人愿意擔任學士之職時，心中肯定也十分的悲涼，也就在這個時候，你父親張景之站了出來。”
“我父親他做了什么？”張縱聽到這里也露出關切的表情，之前李弘講王皇后慘死時，為了避諱所以沒講那么詳細，但這件事早就人盡皆知，張縱也知道武媚娘的手段狠辣，再加上朝中又有許敬宗等人為伍，所以李忠的處境也就不難想像了。
“你父親主動要求擔任學士之職，而且還親自教導我大哥，無論在什么處境下都不能放棄學業，正是在他的教導與寬慰下，我大哥總算是振作了一些，也是在那時，我大哥將芙蓉苑的一個院子賞賜給你父親，就是咱們腳下的這座花圃。”李弘說到最后也踩了踩腳下的土地。
張縱聽到這里也總算明白了自家花圃的由來，不過緊接著他又再次追問道：“那后來呢，我父親是不是因為前太子的事而丟了官？”
“不是丟官，而是他自己棄官不做！”李弘聽到這里搖了搖頭，甚至臉上也露出幾分佩服的表情，“后來我大哥還是丟掉了太子之位，當時許多官員反對，比如時任太子中舍人的上官儀等人，而你父親的反應最為激烈，他直接棄官從商，以此來明志！”
“原來如此！”張縱聽到這里也明白過來，士農工商，官員的地位最高，商人的地位低賤，而他父親張景之棄官從商，其實就是以行動向朝廷抗議，哪怕去做一個低賤的商人，也不愿意再做李唐的官員，這種氣節也的確讓人佩服！
“對于你父親的風骨，父皇還是十分佩服的，曾經幾次想要重新征召他為官，但都被他嚴辭拒絕了。”最后李弘再次道。
其實有些事李弘沒說，比如他大哥李忠被父親李治賜死，這也使得張景之更加不愿意為朝廷效力，后來也有人勸李弘收回張縱家的花圃，但李弘佩服張景之的風骨，所以也沒有同意。