1898年，淮軍聶士成部因在中日甲午戰爭中傷亡慘重，奉命招兵，於是，吳佩孚應募入帳，在天津武衛軍中當管帶的勤務兵，正式開始其行伍生涯。
1901年2月，吳佩孚考入開平武備學堂步兵班。9月，袁世凱任直隸總督兼北洋大臣，將開平武備學堂遷到保定，成立“北洋速成武備學堂”，吳佩孚受同鄉郭緒棟提拔保薦，進入開平武備學堂。
但不久他又放棄了學習，輟學後到陸軍警察隊充任正目（班長），由於表現突出，吳佩孚很快便出任初等官（相當於排長）。
不久，吳佩孚又被派往天津講武堂學習軍事和兵學，在此期間，他結識了段祺瑞的親信靳雲鵬，深受其賞識。吳佩孚於1906年被任命為步兵第十一標第一營管帶。此時的北洋軍閥集團中已是派系林立，相互傾軋。
吳佩孚投入段祺瑞門下。段祺瑞是留學德國的高材生，自是不會把吳佩孚這個秀才放在眼裡。得不到段的青睞，吳佩孚開始急於尋找靠山。
1907年，吳佩孚所在的北洋第三鎮被調往東北，由曹錕接管統制。當時的東北地區土匪橫行，官方剿匪屢屢失利。這日，曹錕又派了一個團的兵力去剿匪，無奈中了埋伏，大敗而歸，氣得曹錕直跺腳。吳佩孚見狀，主動請纓，並說只帶一個營的兵力，限時100天。曹錕半信半疑，將任務交給了吳佩孚。
吳佩孚接到剿匪任務後，既不去搗土匪老窩，也不與土匪正面交戰。他只派兵跟在土匪後面，土匪要下手時，他們就搗亂。等土匪掉過頭來要打他們時，他們又躲起來了。由於吳佩孚的兵神出鬼沒，土匪就給他起了個外號，叫“吳小鬼”。
這些土匪都是落草的，大部分都有家庭，跟了兩個月之後，吳佩孚大致知道了他們各自的住所。由於被盯得緊，土匪們決定回自己老窩。這正中了吳佩孚的下懷，他早已帶人埋伏好，土匪分散地回去，他一個一個地抓，出色地完成了剿匪任務。從此之後，曹錕對吳佩孚刮目相看。
1911年10月，辛亥革命爆發，各省紛紛宣佈獨立，曹錕奉袁世凱之命，率第三鎮官兵入關，負責天津、北京、保定一線京畿外圍防務。同月，山西新軍宣佈獨立，袁世凱派曹錕率軍攻打山西革命軍。
隊伍即將行進到娘子關時，第三鎮第三標部分人員在標統（團長）的帶領下準備起事，吳佩孚及時發現並向曹錕告密。吳佩孚救了曹錕，之後被提拔為第三鎮第三標標統。
1912年2月，袁世凱為了達到在北京老巢就任大總統的目的，指使曹錕帶兵到南京迎袁專使住處進行騷擾，最終迫使南京臨時參議院通電同意袁世凱的要求，曹錕因此在官道上青雲直上。隨著曹錕勢力的壯大，吳佩孚的官位也亦步亦趨地不斷攀升。
