曾國藩在調任直隸總督後，他又發現，帝都官場風氣素質更是不堪。在保定的途中，曾國藩一路留心考察直隸吏治，結果令他非常震驚。他說直隸“風氣之壞，竟為各省所未聞”“此間吏治極壞”。在給皇帝的奏摺中，他這樣說道：“臣入境以後略詢民間疾苦，大約積獄太多，羈累無辜。聞有州縣到任年餘，未曾升堂一次，訊詰一案者。”對此現象，曾國藩決定痛加整頓，“大加參劾”“嚴立法禁，違者重懲”。他對人說，自己“素非苛刻者流”，這樣做實在是不得已，“非剛猛不能除此官邪。” 對直隸官員進行摸底調研考察後，曾國藩在同治八年（1869年）四月將第一批參劾官吏向朝廷統一進行了彙報。參劾的十一名不稱職人員均為知縣、知州以上官吏。曾國藩詳細列舉了他們的主要劣跡：“性情卑鄙，操守不潔”“貌似有才，心實貪酷”，或是“擅作威福，物議沸騰”，或是“品行卑汙，工於逢迎”“浮徵勒派，民怨尤甚”，或是“詞訟置之不理，積壓尤多。”這些參劾措辭激烈，可見曾國藩對當時州縣官吏的不作為、貪瀆違紀到了極端痛心疾首的地步。
把州縣官吏汰換之後，他就開始清理積壓案件，當時直隸官場的最大弊病就是不作為。曾國藩發現，從同治八年三月底，直隸積壓的同治七年（1868年）以前的案件竟達12000餘件。僅保定府衙門中由朝廷交辦下來處理的重大上訪案件就達130餘件。這些案件有的擱置二三年，有的一拖就是八九年。曾國藩不得不感嘆：“吏治之弊，民生之困，端由於此。”
與此同時，曾國藩透過考察，提拔了一批讀書人做州縣官吏，重點集中在德才和辦事方面。接任直隸總督一年後，在曾國藩的帶動鞭策下，結清了同治七年以前的舊案12074件，同治八年以來的新案28121件，沒結清的舊案僅95件，新案剩2940件。此時曾國藩除了嚴重的面板病外，還患有多種老年疾病，加之眼疾嚴重，可以想見他對此工作承擔了常人難以理解的艱難。
從兩江總督到直隸總督，曾國藩在構建州縣官吏隊伍和清理官場不作為等問題上付出了巨大精力，用他的話就是：“不得不刑惡人以伸善人之氣也。”然而面對大清官場日益滑坡的情形，曾國藩遺憾地向好友郭嵩燾傾訴說：“吏治毫無起色，可愧之至。”這裡雖然多少有自謙之詞，但多少表達了他力不從心之感，但是整頓吏治，著重基層州縣官吏的任用選拔，曾國藩為政的巨大亮點之一，也表現了一代名臣對政治高度負責的寶貴精神。
