公元174年（漢熹平三年），曹操剛滿二十歲，就受到州郡的推薦，以孝廉為郎（皇帝的侍從官），開始走上仕途。不久，他又被任命為洛陽北部尉，負責京城中的治安工作。當時，社會治安很亂，豪強橫行不法，京城情況十分複雜。
曹操官職雖低，但辦事卻很有魄力。他上任以後，馬上下令把官署衙門修繕一新，又下令製造了一批五色棒，在官署大門兩側各懸掛十幾根。有違反禁令的，即使是豪強，也都用五色棒打死。有一次，漢靈帝寵幸的小宦官叔父半夜出行，觸犯禁令，曹操立即把他抓來處死。這一來，洛陽城裡的豪強大為震動，都收斂行跡，不敢再觸犯禁令了。
後來，曹操又擔任議郎，可以參與討論國家大事。他不講得罪權貴，上書批評掌管朝政的“三公”。但朝政已腐敗透頂，曹操認識到害處，以後也就不再提建議了。
漢中平元年，黃巾大起義爆發。東漢統治集團驚慌萬分，調集大軍鎮壓。曹操為騎都尉，跟隨名將皇甫嵩、朱儁，在黃河以南潁川（治所在今河南禹縣）一帶作戰，他們屠殺了好幾萬起義軍。曹操因此被提升為濟南相。濟南是侯王的封國，濟南相是朝廷派到王國去處理政事的官吏，如同郡守。
曹操上任以後，檢舉罷免了貪贓枉法的縣級官吏。當地的一些不法之徒嚇得紛紛逃避他郡。那裡祠堂很多，單是祭祀城陽景王劉章一人的祠堂，就有六百多所，香火不絕，浪費了不少人力物力。曹操又下令拆毀祠屋，禁絕祭祀。這兩件事，使濟南的社會風氣有了很大改變。
曹操堅決打擊豪強，不僅觸犯了地方豪強勢力，也得罪了朝廷中的一些權貴。因此，他一度辭官回鄉隱居。可是，這動盪不安的社會，怎能使他安心隱居呢。公元188年（漢中平五年），漢靈帝籌建西園新軍，曹操又回到洛陽擔任典軍校尉的官職。
