洪武十八年（1385年），徐達自北平還，背疽復發，明太祖命徐輝祖奉手詔在中途迎接，不久徐達去世。
洪武二十一年（1388年）十月二十六日，徐輝祖襲封父親的爵位魏國公，賜誥“揚中山王之烈，而勉公忠以立志，禮以守身，恪盡繼承之道”。
不久，避皇太孫朱允炆名諱，改名徐輝祖。
洪武二十二年（1389年）三月，潁國公傅友德等回師，分駐湖廣、四川諸衛所，以“休息士卒”、“控制蠻夷”。
徐輝祖亦受命駐守常德府，四月，徐輝祖奉命于湖廣各衛所考察軍士，練兵備邊。
十二月，被召回南京應天府（今江蘇南京），后又讓他回到鳳陽的御賜宅第，“以歲時入覲”，不久賜兵一百二十人作為護衛。
洪武二十四年（1391年）三月，徐輝祖前往陜西練兵防邊。
洪武二十六年（1393年）二月，據稱燕王府的北元降將阿魯帖木兒、乃兒不花別有所圖。
三月，徐輝祖受太祖之命，與燕王朱棣將阿魯帖木兒等抓捕，押送南京，回朝之后，掌管中軍都督府事務。
洪武二十七年（1394年）三月，徐輝祖與安陸侯吳杰前往浙江訓練沿海軍士，以防備海上倭寇入侵，九月，徐輝祖受命節制陜西都指揮使司將士，以待次年春季征討西番。
洪武二十八年（1395年）十一月，徐輝祖前往鳳陽府訓練軍馬。
洪武二十九年（1396年）四月，徐輝祖與禮部、翰林院官員共同前往國子監，考核國子師生。
徐輝祖常常陪侍于皇太孫左右，因此得以學習經書大義，又隨書法名家詹希元練習書法，擅長寫大字。
洪武三十一年（1398年）閏五月，太祖駕崩，皇太孫即位，即建文帝。
建文帝對徐輝祖特加信任，于同年八月加拜他為太子太傅。
建文元年（1399年）正月，建文帝下詔修《太祖高皇帝實錄》，命徐輝祖為監修。
四月，將逢太祖忌日，朱棣派三子朱高熾、朱高煦、朱高燧入京。
等三人到了南京，大臣齊泰請求建文帝把他們一并留下，黃子澄說：“不可以。懷疑他而作此準備，是有害的，不如把他們全部遣返。”
徐輝祖此時秘密奏報說：“我的三個外甥中，只有朱高煦勇猛剽悍而且無賴。他不但不忠于陛下，也會背叛他的父親，他日一定會成為大患。”
建文帝詢問徐輝祖的弟弟徐增壽和駙馬王寧的意見，二人加以包庇，于是將三人遣返歸國。
朱高煦偷了徐輝祖的馬逃跑。徐輝祖派人去抓，沒有追上，建文帝聽說了，就把他當做親信。
此后不久，朱棣發動靖難之役。在戰役期間，朱高煦作為燕軍主將出力甚多，建文帝說：“我后悔不用徐輝祖的建議！”
建文三年（1401年）四月，建文帝擔心南軍主帥李景隆輕敵，于是命徐輝祖率領三萬京軍馳援。
同月，南軍在白溝河之戰中慘敗，損失十數萬，李景隆等潰逃至德州，徐輝祖率軍殿后，掩護李景隆等撤回，全師而還。
建文四年（1402年）正月，朝廷命徐輝祖帶兵北上，四月，與燕軍大戰于宿州靈壁縣西南三十里的齊眉山，南軍獲勝，斬殺燕軍驍將、蔚州衛千戶李斌等。南軍再次獲得勝利，再加上暑熱，燕軍陷入窘境。
這時，朝廷訛傳燕軍已兵敗，京師不可無良將，遂召回徐輝祖，淮北的何福、平安等中央軍因此勢孤而大敗。
等到燕軍準備渡過長江時，徐輝祖仍率軍在浦子口迎擊，成功阻擊燕軍。
南軍大將盛庸再戰，遭遇大敗，水師盡歸于燕軍，燕軍于是得以渡江，攻克南京金川門，入主南京。</p>