后漢中平二年，二月，中常侍張讓、趙忠說靈帝斂天下田，畮十錢，以修宮室，帝許之，乃加賦。詔至河內，太祖曰：“十月方免，二月即加，此亂命也，使天下亂復生也！”
同年冬，逢師故太尉劉寬薨，太祖以遺言辭河內守理喪，入洛。及面帝，盡言算賦事。不聽。出，謂左右曰：“今日方知，上甚聰明，盡知天下虛實，但貪鄙無度，明知而不為，實無救藥矣。”復曰：“天下洶洶而無能為也，今日知何謂憂心如醉！”太祖既棄職而走，遂遺衛將軍印綬于洛。靈帝從議，遣使追而與之。凡三次，乃受。太祖之心，自此興矣。
于回遼西之路，太祖居廣陽，稍傾，冀州刺史王芬以許攸為使，言廢立之事，太祖怒而斥之。及攸走，太祖夜臨星河而嘆，左右或知其意，俱勸：“天子昏亂，遂令君侯不容于朝。今天下已叛，而兵不足自守，幽州鄉里被君恩德，愿必從之。當安居廣陽，率厲義徒，見有道而行之，以濟天下。”太祖大嘆：“天子固昏，然關西之亂，傅南容何辜？王芬之悖，冀州百官何苦？兼兩地黔首，固多牽累，我何忍害之，夫大丈夫生于世，當有所為。”左右遂止。
將歸，路見流民紛落，甚不忍，遂止行，引眾安于昌平道口，親耕棗栗于燕山以哺民，兼阻絕胡路。凡數年，往來投者百萬計。或曰：“燕武之德，自此始也。”
太祖屯于昌平，自挖溝渠于西，復使王修執刑于南，常林分糧于北。陶謙為幽州刺史，駐廣陽薊縣，聞太祖屯于近處，乃素衣斗笠行驢車出薊，其自南往北，初見修，再見林。及營中呂范聞之，大禮往迎，言太祖在西，固請。謙不語，自轉車往南，歸薊縣。左右疑而問之，謙乃嘆曰：“王叔治寬嚴有度，常伯槐一絲不茍，呂子衡彬彬有禮，此三者，皆人杰也，何須復見其主，廣陽事，當歸公孫為之。”
中平年，涼州復叛，賊勢大，進長安，太祖同門傅燮戰死。
中平六年，冬，大將軍何進以信與太祖，言失兵權，或礙誅宦事，太祖聞之，自引私兵輕騎至河內，洛中北軍、西園多太祖舊部，紛紛來謁。洛中宦官聞之，俱驚，乃語于靈帝，以詔付司隸校尉張溫，使其拘太祖入洛。及至，太祖懸劍于轅門，以示本心，張溫見而嘆之，竟羞慚而走。
靈帝又詔太祖往涼州，以行其叛。太祖以天下任，遂受命行。詔書拜董卓前將軍，復起皇甫嵩為左將軍，各率二萬人拒之，又以太祖持節督二將，各交本部騎兵兼五千眾為太祖驅。即以呂布為前驅，破當面韓遂、馬騰，繼大破之，獲王國、李相如、黃衍以下首萬余，俘三萬，遂、騰僅以身免。涼州遂平。
太祖既覆涼州叛軍于渭水，拜冀州牧，授節杖，督幽冀武事。
中平末，遼西烏桓反，舉兵數萬破柳城，隔斷幽州，兼奉漁陽豪族張舉為天子，中樞以為堪憂，乃拜太祖持節督塞內諸郡。
三月，破管子城，斬張舉。四月，太祖與烏桓戰，渡大凌河，眾七千余，忽有段部鮮卑遣使來報，以告烏桓單于丘力居引兵兩萬伏于小凌河東，星夜來攻。時眾篝火啜熱湯于野，咸失色驚立，湯流滿地，唯太祖不動容，徐徐啜引，復舉碗曰：“此碗可扣賊！”眾迺安。乃夜雨發軍，烏桓不備，大敗之，得復柳城，斬賊酋丘力居、塌頓。
會靈帝崩，太子即位，何太后臨朝。大將軍何進與袁紹謀誅宦官，何太后不聽。進乃召邊軍三路，募兵五路，又欲以太祖為后援，鎮壓局面，以脅何太后。書至遼西，太祖見而笑之曰：“閹豎之官，古今宜有，但世主不當假之權寵，使至于此。既治其罪，當誅元惡，一獄吏足矣，何必紛紛召外將乎？欲盡誅之，事必宣露，恐吾未至而見其敗也。”
光熹元年五月，大將軍何進謀誅宦事，不密，反為誅。洛中遂亂，張讓、趙忠等亦在亂中伏誅。袁紹乃私詔董卓入洛。卓既入洛中，竟行廢立事，又使李儒鴆帝。