劉徹登上皇位時，西漢王朝經過四代帝王，尤其是“文景之治”的休養生息，經濟已經非常繁榮，國庫充足，百姓康樂，吏治清明。不過這種繁榮的背後，長期潛伏的各種矛盾也逐漸激化了。在國內，許多農民為逃稅而脫了戶籍，政府就無法有效地管理；地方豪強巨賈的勢力惡性膨脹，嚴重影響到國計民生；曾被打壓的諸侯王又開始蠢蠢欲動。在邊疆，匈奴的實力也增強了，對邊境的侵略越來越頻繁，所有的這些，都對劉徹的統治構成了嚴重威脅。
劉徹很有革除弊政的魄力，他任用了一大批儒生，一起推行政治改革。他透過考試，選拔出大儒董仲舒，聽取其很多有見地的治國安邦良策，歷史上稱之為“賢良對策”。為了提倡儒術，劉徹在朝臣任免上做出了重大調整。他任命竇嬰為丞相，田蚡為太尉。這二人都喜歡儒學，他們又推薦了儒生趙綰為御史大夫，王臧為郎中令。趙、王二人又推薦了自己的老師、《詩經》博士申培任太中大夫，這樣，武帝的朝堂成了儒家的天下。
劉徹與這些儒臣一起對大漢朝政進行了全面的興利除弊。除了用休養生息來穩定經濟發展外，武帝還鼓勵大臣檢舉皇親國戚的不法行為，以倡導法制；命滯留京城的王侯都回封地居住，以消除對皇權的威脅；將皇家苑地關閉，並分給貧苦百姓耕種，以此來減輕百姓的負擔。除此之外，劉徹還設立“明堂”，重新規範禮樂制度。
劉徹的這些措施都產生了很好的效果。可是儒學的盛行，卻遭到了竇太后的強烈反對。竇太后是景帝的母親，是身歷四朝的老太后，她穩居後宮40多年，威望自然非同一般。劉徹年少稱帝，朝政大權還是由她把持。竇氏一族的勢力盤根錯節，更是不容小覷。他們之中有很多人仗勢作惡，遭到大臣的彈劾。這些人都跑去向老太后告狀，並藉機誹謗新政。竇太后深受前幾任皇帝的影響，喜好黃老之言。她本就不喜歡儒家，現在又聽了這麼多人的一面之詞，就怒斥孫子，逼迫他廢除新政。劉徹上臺不久，人又年輕，沒有多大勢力，只好屈從老祖母。他不僅放棄修建明堂，還罷免了竇嬰和田蚡，又把趙綰和王臧也下獄治罪，這才平息了老太后的怒氣。
不過劉徹年輕也是優勢，他避過了竇太后的風頭，就韜光養晦，等待時機。建元六年（公元前135年），竇太后壽終正寢。而劉徹的母親王太后很疼兒子，不干涉政事。這樣，22歲的劉徹終於可以放開手腳大幹一場了。
劉徹翦除了竇太后在朝中的所有親信黨羽，重新啟用田蚡為相，任韓安國為御史大夫。“清淨無為”的黃老之學，在定國安邦、休養生息的時代確實發揮過巨大作用，但它早已不適應一個龐大、進取的強盛時代。而儒學博大精深，包括了政治、經濟、文化、教育、倫理等各個方面，他提倡“仁政”，是統治階級在強盛時代統治百姓的最好武器。所以，大儒董仲舒提出的“罷黜百家，獨尊儒術”的主張，正好順應了時代發展趨勢，也切合了劉徹的心意。
劉徹初登帝位就開始向這個方面努力，雖然遇到挫折，但也有很大的收穫，現在他的思想也更加成熟了。劉徹就全面推廣董仲舒的主張。他將儒家確立為正統思想，強調大一統，弘揚仁義，樹立君臣倫理觀念。為了普及儒學，實現思想上的真正統一，劉徹從教育入手，用儒家思想來培養人才。在董仲舒的建議下，他興辦了太學，聘請儒學博士授課，教學內容就是儒家五經。太學的規模也逐年擴大，到西漢末年太學生已達萬人。同時，地方郡國也興辦學校，內容也以儒學為主。官吏選拔考試也以儒學為主。這樣用不了多少年，從中央到地方的官僚都換成了儒士，他們成為封建專制主義中央集權的堅決維護者。這樣從教育到用人到思想的大一統，為劉徹後面的改革奠定了良好的基礎。
