楊堅建立隋朝後，突出“文治天下”的治國理念，尤其大力發展文化教育事業，其目的是倡導新風氣，培養對國家有用的新人才，進而提高國家的整體品質與執行能力。由於隋朝是南北朝分裂之後的重新統一，所以上述任務對隋朝而言尤為重要。
任何時代的發展都需要人才的支援，大一統走向盛世就更不能缺少人才，對從豪族勢力分割國家權力而走向中央集權的隋朝而言，雖然已經經歷了意義深遠的制度變革，但如果還是依賴先前制度選拔出來的人才，等於依舊是維護世族把持選舉的局面，所以隋朝要想改變這種局面，就必須在選拔制度上另闢蹊徑，打破世族把持選舉的局面。
隋朝建立不久後，楊堅進行了地方行政制度改革，在廢除郡的基礎上，將地方人事任免權力收歸中央，全國大小官吏要經過吏部的考選，這就需要有大量的後續儲備人才，這種情況依靠九品中正制難以實現。李德林曾經說，從全國六七百萬戶內選出幾百個
具
的縣令都是件困難的事情。可見當時合適的人才並不充足。
而已經實行了幾百年的九品中正制，正是造成這種窘境的原因。這種制度的特點就是人才的選拔完全掌握在地方的
中
正官手裡，由他們首先品評人才，選出人才後再送吏部篩選，而地方的中正官都是地方豪族的人擔任，因此國家人才的選拔在某種意義上其實就是在地方豪族圈定的範圍內進行。一般情況下這些豪族是不會選沒有背景、無權無勢的布衣子弟的，正所謂“上品無寒門，下品無世族”。因此九品中正制其實就是世家大族政治的基礎，而這些大族是不可能向國家輸送破壞自己既得利益的人才的。但是楊堅在廢郡時，已經命令掌管地方人事選拔的州都、縣正等官員不再掌管地方的人事選拔，這些人被貶黜為鄉官，而廢郡本身就讓南北朝時期舉薦秀才、孝廉的制度不再盛行，可以說從楊堅決定廢郡開始， 九品中正制已經走向沒落。
為了讓國家能夠湧現出大批人才，在廢除九品中正制之後，楊堅隨即採取制舉的方法來選拔人才，這就是科舉制的來源。
開皇二年（582年）正月，楊堅下詔規定，推薦的人才必須是精通時事的，即使是在當地聲望不高，也在舉薦之列，被推舉者需要提供官曆、家庭狀況、戶屬情況等資料，但是沒有說要提供中正的品第，而且詔令規定舉薦人才劃歸當地刺史，中央朝廷派專人察訪，如果發現有才不舉的情況，就要追究刺史的責任。從中也可以看出，曾經的九品中正選拔體系，已經開始讓位於地方長官選拔，而地方長官則是中央朝廷的代表，這也是中央集權的一種體現。
轉年十一月，楊堅再次下詔，所有文武人才，先由地方長官依據指定條件推舉，然後吏部進行考選，最終由皇帝親自銓選。整個選拔流程都由政府主導，與地方世家大族毫無關係。開皇初年楊堅的這番選拔制度改革， 雖然是出於當時的政治需要，但也標誌著新的人才選拔制度即將出臺。
楊堅十分清楚，
制
舉是不能代替選舉的，制舉只是人才選拔的權宜之計，變革創新選拔制度勢在必行。開皇七年（587年）正月，楊堅詔令“制諸州歲貢三人”。所謂“歲貢”其實就是將選拔機制固定下來，也就是常舉。各州貢士每年集中在京城，參加朝廷舉行的分科考試， 當時明確下來的科目有秀才和明經科。至此科舉制開始初具規模。
目前從史料記載來看，明經科的考試開創於隋朝時期，現在知道的可考秀才有十一人，分別是李寶、王貞、杜正玄、杜正藏、劉焯、仲孝俊、侯白、杜正倫、許敬宗、趙孝釣、趙構。舉秀才最早的是李寶和王貞。秀才則是傳統科目，歷代受到尊崇，隋朝時期也是一樣，不過一直到隋朝滅亡為止，秀才出身的也只有十餘人。楊素曾經說∶“周、孔更生，尚不得為秀才”，所以終隋一代舉秀才屈指可數。
需要說明的是，後來在唐朝時期成為科舉主要考試的進士科，在隋朝時期也已經創立。但是進士科是什麼時間設立的，卻眾說紛紜。依據唐代的史料來看，進士科設立於隋煬帝楊廣在位的大業年間，但是具體年份則不詳。可是當代有韓國學者考證，進士科設立於楊堅在位的開皇十五年或者十六年。日本學者甚至認為在開皇七年之前就設立了進士科，當然這兩個時間分別是指上限和下限，目前都傾向認為進十科就設立在開皇七年到開皇十五六年間。
當然，由於進士科是新設的科目，所以不如秀才、明經科出名。後來在唐朝貞觀年間發生過州長官因為舉薦的人考試落第而被追究罪責的事件，因此地方官不再推舉秀才。唐朝文學繁榮， 又促使應試者注重文辭的進士科形成一枝獨秀的局面。但在隋朝初年，最顯赫的還是秀才科，開皇十五年（595年）貢舉考試，據《北史·杜銓附杜正倫傳》記載∶“時海內唯正玄一人應秀才，餘常貢者，隨例銓注訖。”
杜正玄敢於應秀才考試，說明地方貢士可以投考不同科目，當時的科考是各科並考，可以說科舉制度初具雛形。從前文說過的隋朝秀才中選情況來看，除了有兩人是開皇七年（587年）的秀才之外，其他都是開皇十五年（595年）以後中舉的。從平陳之後楊堅崇尚文教的情況來看，分科考舉其實是與文治政策同步的，發展於隋朝統一天下之後。
當時各地的貢士會考京城的時候，及第之後還必須要參加吏部考試，合格後才能授予官職，等於將資格考試與選官考試分離，這個制度一直為後世所承襲，後來唐朝還進一步將吏部考試進行完善，分為身、言、書、判四項。
用可比性的客觀標準來代替人為主觀評定顯然要公平得多，更重要的是，在地方選舉的過程中減少了世族的干預，選人大權歸於中央朝廷。開皇三年（583年），中央朝廷收回地方官員的任免權，平陳之後隨著大力發展文教事業，中央朝廷又掌握了人才的培養與官員的選拔，至此中央朝廷在人事制度方面的集權完全確立。
既然考選由國家來把控，那麼世族把持的九品中正制就必然成為多餘。開皇十五年（595年）楊堅下令罷黜州縣鄉官，廢郡時將主持地方吏選的州郡、郡正等，連同其僚屬都廢黜成不理時事的鄉官，現在又進一步將其廢除，中央系統的中正官也同時廢除。
唐朝的杜佑就指出∶九品中正至開皇中方罷。自從曹魏時期建立的沿襲數百年之久的力品中正制終於在隋朝時期廢除，科舉制度已然成為不可阻擋的新的選拔官員制度，而且隨著其逐漸完善成為歷史潮流，楊堅又完成了一項劃時代的變革。
當然，任何一項制度在初創期都不可能完善，隋朝的科舉制度與後來唐朝比較完善的科舉制度相比還有很大的差距。雖然隋朝時期的科舉制具備了很多功能，但依舊處於不斷演變的過程，其中與唐朝時期最重要的區別在於不是投牒自
進
，而是採取地方長官薦舉與中央考試銓選相結合的形式，考試範圍也只限地方貢士，依舊保留了《周禮》推崇的層層推舉的遺風。
