公元234年，蜀漢軍師諸葛亮病逝五丈原，長史楊儀、魏延因爭權發生內訌，結果魏延被馬岱所斬，楊儀吞併他的兵馬，徐徐撤回蜀地。
司馬懿本要趁機追殺蜀軍，但魏明帝不準，下旨大軍回國休整，因功加封司馬懿為太尉。
公元237年，遼東太守公孫淵背叛魏國，自立燕王，定都襄平（今遼寧遼陽），置列百官，並暗通東吳孫權，以防魏兵前來征討。
訊息傳到洛陽，魏明帝緊急召見司馬懿，對他說：“朕本不欲勞煩太尉，只因想一舉平定邊患，知先生謀略過人，所以還請你掛帥出征，為國建功！”司馬懿叩拜稱謝。
隨後，明帝問道：“先生估計能否順利滅掉公孫淵？”
司馬懿捋須笑道：“兵者，詭道也，殊難預料。如果公孫淵放棄防守，預先逃遁，對他則是上策；若他據守遼水，與我軍對抗，此乃中策；倘若他苦守襄平，遭我軍圍困。呵呵，那麼臣旦夕之間便可將其捕殺。”
魏明帝聞言大喜，知司馬懿此去必然成功，與他相約百日歸返，授予大將軍印。
司馬懿於是率領四萬大軍，擇日向遼東進發！
途經故鄉溫縣時，當地官員宴請司馬懿，面對父老鄉親，司馬懿以詩詠志：
“自從盤古開天地，此時日月也重光。風雲際會英雄出，盡忠朝廷去遠方。將去遠方平叛逆，征途路上經故鄉。待到萬里清宇宙，四方進獻朝魏王。功成告老全名節，逍遙度日在舞陽。”
隨後，魏軍從溫縣出發，經孤竹，過碣石山，兵屯遼水之濱。
話說公孫淵突聞魏軍來攻，忙派人向孫權求救，不料孫權僅以發兵為名聲援，並來通道：“司馬懿用兵如神，連諸葛亮都無法取勝，吾深為賢弟擔憂啊！”
無奈下，公孫淵只好發兵數萬，在遼河東岸構築堅固連營，防禦魏軍渡河。
此舉正中司馬懿下懷，探知敵情後，司馬懿立刻調兵去佯攻燕軍南側，趁敵精銳部隊向南援救時，再迅速集合兵馬從北路乘船渡過遼水，突然直逼燕軍大營，並下令打破船隻，依遼水將敵營團團圍住。
三天後，部下將佐請求進攻。
司馬懿道：“敵軍堅守不出，意在拖住我軍，昔日昆陽大戰，王邑便因此落敗，諸將如果要戰，可分兵直取燕軍老巢襄平，迫使他這裡人心渙散，必然會派兵沿路截擊我軍，那時便可一鼓作氣打敗敵軍。”
眾將聞言大喜，依計而行，果然燕軍得知魏軍繞向後方，派兵半路截擊，被魏軍一通大殺大砍，連敗三陣，燕軍潰敗，只好退保襄平，司馬懿下令追擊，最終兵臨襄平城外，紮營圍困。
這時恰逢連降大雨，魏營平地水深數尺，將士苦不堪言，有人勸司馬懿把軍營移往高處，然司馬懿怒道：“平遼才是大事，些許雨水怕它什麼？再有言移營者立斬不赦！”
結果令史張靜不聽，擅自離營，被司馬懿下令斬首，軍隊頓時肅然。
襄平城內燕軍因缺糧斷薪，借大水環城，與魏營尚有一段距離，乘機派人出城上山砍柴放牧。
魏軍部將懇請調兵擒敵，但司馬懿不準，他對諸將言道：“本帥出兵平遼，不怕敵人來戰，只怕敵人逃走！襄平城內兵多糧少，又逢洪水，多想逃往別處，而我軍遠道而來，包圍尚未形成，如果抓其兵，奪其牛馬，那不恰好逼迫他們迅速遠遁嗎？到那時，再想擒獲公孫淵可就難了。”因此，魏軍只是圍而不攻。
訊息傳回朝廷，百官聽說大軍遇洪水受阻，難以破敵，都勸明帝下旨召回司馬懿，可明帝卻笑道：“司馬懿十分擅長在危險的境地出奇制勝，朕相信，他過不了幾天便可斬殺叛賊公孫淵了。”群臣俱個心生疑惑，卻也不敢再勸。
果然沒過多久，雨過天晴，魏軍迅速集合兵馬，團團圍定襄平，端的是風雨不透。公孫淵及百官見狀，嚇得魂不附體，派出使臣王建和柳甫懇請魏軍退後，然後情願束手歸降。
但司馬懿並不相信，還將二人斬首號令。
公孫淵得報膽戰心驚，又派侍中衛演向司馬懿請求將太子抵押為人質，司馬懿對衛演說：“無須送什麼人質，眼下公孫淵只有自縛請罪或自刎謝罪兩條路可走。”
衛演歸報後，公孫淵只得率精銳衝南門突圍，司馬懿揮兵急追，沿路將敵兵殺得落花流水，公孫淵也戰死在梁水岸邊。
魏軍因此順利殺入襄平，把公孫淵部下十五歲以上男子七千人盡都殺死，屍體壘成高臺，燕王朝中公卿以下全部斬殺，將佐也殺了兩千餘人，歸順魏國的人口多達三十萬。
一切就緒，司馬懿下令班師回朝，臨走強行將遼東數萬居民遷徙中原，魏明帝派出使者到薊州慰勞，並把昆陽賜給司馬懿為封地，曹魏數十年的遼東邊患至此徹底解決。
但令司馬懿做夢也想不到的是，遼東漢人被強行遷移內地後，致使當地形成真空，西晉初年，邊塞胡人逐步佔據遼東，從而為西晉滅亡，五胡亂華埋下了伏筆！
