青苗法頒布后，富弼認為這樣就會財利聚集于朝廷，而人心分散，堅持不執行。提舉官趙濟彈劾富弼不執行圣旨，侍御史鄧綰又乞求將其交付有司處置，于是以左仆射之職改判汝州。王安石說:“富弼雖受責罰，還不失于富貴。從前鯀由于違命被誅殺，共工由于貌似恭敬而內心傲狠被流放，富弼同時犯有這兩條罪行，只奪去使相之位，又怎能阻止奸邪呢”神宗不回答。富弼說:“新法，臣下不知曉，不能用來在我的郡縣實行，愿回洛陽養病。”神宗同意。不久后，富弼上疏請求告老回鄉，神宗恢復其武寧軍節度使及同平章事之職，命其以司空、韓國公之銜致仕。
富弼雖然居住在家，朝廷有大事，他都知無不言。郭逵征討安南，他乞求詔令郭逵選擇有利地位以便進退，來保全軍隊；契丹爭執河東地邊界，富弼認為朝廷不能答應給地；星象發生變化，請求廣開言路；又請求盡快更改新法，來解除百姓倒懸之急。神宗雖然沒有全部采用，但眷念禮待沒有減少，曾經因為王安石要推行某種新措施，神宗推辭說:“富弼親手書寫上疏稱老臣無所告訴，只望著屋頂私下嘆息的那種情形，很快就會出現了。”神宗對他如此敬重。
同知諫院范純仁曾寫了一篇尚書解獻給宋神宗，并解釋道:“富弼蒙受三朝君主的恩顧和倚重，應當自己主動擔當國家的重任，可他卻為自己之事的憂慮超過了為眾人之事的憂慮，為自己疾病的憂慮超過了為國家的憂慮，在報效君主和立身處世兩個方面都有過失。”
元豐三年1080年，“元豐改制”施行，富弼被任命為開府儀同三司。同年，前宰相王堯臣之子王同老上書朝廷說:“先父王堯臣任參知政事時，正當仁宗服藥，曾經與富弼和文彥博商議立皇儲之事，正巧第二天仁宗病愈，此事就作罷。”神宗向文彥博確認后方得知實情。神宗嘉獎富弼不自夸功勞，授他為司徒，并升其子富紹京為閣門祗候。
元豐六年閏六月二十二日，富弼在洛陽的家中去世，終年八十歲。親手封存遺奏，讓他的兒子富紹庭獻給朝廷，其內容大致為:
陛下即位的時候，正是邪臣采納進言任命官員的時候，聽受不適宜，致使陛下失聰誤明，逐漸養成禍患。如今上自輔臣，下到士人，都害怕禍亂圖謀利益，長久以來成了一種敗壞的風氣，忠誠正直之言，不能再讓陛下聽到。臣下年老害病將要死了，還有什么要求呢只是不忍心陛下辜負圣明，于是傾盡肝膽，希望陛下哀惜憐憫愚臣，對愚臣之議加以采納。去年永樂
本章未完，請翻頁
之役，兵民死亡數十萬人。如今久戍不止，難道能諱言過失，由于失敗感到恥辱而不考慮挽救當時的禍患嗎天地是最仁慈的，難道會和羌夷較量曲直勝負嗎希望歸還侵占的土地，停止戰爭讓老百姓得到休息，讓關、陜之間，慢慢地產生生機。加上陜西又設置保甲，修葺教場，州縣都實行，勢頭猶如星星之火形成燎燃之勢，人人都惶恐害怕，很難再任用，還不如罷免停止來懷柔安撫。臣下所陳述的事情，都是對于國事的濟助立竿見影的。至于最重要的道理，則在于圣人的遺教，以及所用的是君子、小人的辨別。陛下審查觀看天下形勢，難道認為不值得擔憂嗎
神宗覽奏后，感到震驚痛悼，為他輟朝三日，親撰祭文祭奠，追贈太尉，謚號“文忠”。
可以說，富弼算得上是一位忠臣，宋仁宗在位時，宋、遼關系又趨緊張，遼國屯兵北境，要求遣使談判，劃地與遼。當時北宋朝臣上下因敵情叵測，無人敢擔使者之任。面對主憂臣辱，富弼挺身而出，兩度出使遼國。在談判中，他從各方面陳述了雙方的利害關系，不卑不亢，仁而有威，致使遼興宗自知理虧，遂息兵寧事。使南北之民數十年不見戰事，天下稱善。而范仲淹則稱富弼有王佐之才，足見器智謀之厲害。
如果可以，陸垚真的是不希望與這樣一位大臣為敵，雖說富弼現在只是司徒，但是恐怕以現在韓琦的地位來說，早晚這樞密使的職位要變成富弼，如果陸垚在這個時候因為婚姻這種私事跟富弼鬧僵的話，恐怕會影響到自己的仕途。