公元318年，劉聰病死，其子劉粲繼位。但沒多久匈奴內部就發生了令人匪夷所思的一幕，國丈靳準發動政變殺了劉粲，並且對平陽城內的劉氏宗室全部殺光，還掘皇陵，拖出劉聰死屍斬首，焚燬劉氏宗廟。然後自號大將軍、漢天王。到這裡還只是一次普通政變，但靳準隨後向東晉稱藩並準備歸還傳國玉璽，如果靳準是漢人還能解釋，但他可是血統純正的匈奴人，又是國丈，這麼幹就讓很多人費解。
其實靳準這麼做並不難以理解，漢國還有兩股強大的勢力，劉曜和石勒，這劉曜是劉淵同宗自小又被劉淵撫養長大，並且戰功顯赫，石勒更是不用多說，有這樣兩股勢力在靳準不求救外援只能等死。事實也確實如此，靳準政變，劉曜和石勒就各自出兵討伐，同時劉曜在底下人勸諫下登皇帝位，在兩股強大勢力夾擊下靳準自然難以招架，自己也被部下殺害，就在靳準餘黨準備向劉曜投降奉上傳國玉璽之時，石勒不答應了，派兵攻下平陽，並且焚燬了宮殿，將樂器搬往襄國，很顯然不將劉曜放在眼裡。
但劉曜此時自身地位並未穩固，不可能與石勒公然翻臉，於是想著用高官厚祿拉攏他，公元319年準備封石勒為趙王，但因為底下人的挑唆沒有完全執行，石勒知道後更是生氣不已兩家矛盾愈演愈烈。同樣在這年劉曜又幹了一件頗有意思的事，遷都改國號，遷都可以理解畢竟平陽被石勒毀了，但將國號改成趙就比較耐人尋味了，劉曜給出的解釋是他們的祖先興於北方，當初劉淵為了收攏人心而立漢宗廟。現在形勢變了，應該以匈奴單于為祖。
改國號就改國號了，但問題在於先前封石勒趙公趙王，現在把自己的國號改成趙，總有點給人感覺怪怪的，石勒這邊果然也不省心，同年底就自立為趙王，這就尷尬了一下子有兩個趙，一個趙皇帝一個趙王，那麼天無二日，衝突就在所難免了。但可能都受後方不穩影響，分家後的兩趙倒也暫時相安無事，劉曜這邊忙著平定關中勢力，而石勒這邊先後平定幽州青州，並趁著祖逖去世的機會拿下東晉大片土地。
隨著兩邊後方穩定，彼此間的衝突就避免不了，公元324年隨著石生進攻新安，兩趙之間戰爭開始，戰爭也持續了幾年，直到在洛陽這個西晉的昔日首都，雙方實力發生了根本變化。公元328年，石虎率軍進攻劉曜的河東之地，劉曜親自率領大軍前往應對，石虎害怕撤退了，劉曜緊追不放大敗石虎，可此時的劉曜沒有趁勢率軍襲擊石勒的老巢襄國而是選擇進攻洛陽。洛陽畢竟是要地，石勒親自率軍前來救援，雙方在洛陽準備展開一場大戰，當石勒大軍集結於成皋時，劉曜竟然沒有在此地設防，石勒快速進軍。劉曜此時才匆忙佈置大軍應戰，石勒遂命石虎引兵自洛陽城北而西攻劉曜中軍，命石堪率兵自城西而北攻擊劉曜前鋒，石勒自出洛陽閶闔門，夾擊劉曜，劉曜遭遇慘敗，斬首五萬多。劉曜自己也在退兵時馬陷石渠墜於冰上，身負重傷被俘，石勒讓劉曜寫信讓他兒子投降，但劉曜反而寫信讓他們別管自己和大臣一心恢復實力，如此一來石勒只能殺了劉曜。公元329年劉曜死於石勒之手。
但可惜劉曜的遺願遭到了無視，劉曜的兒子們在撤退與否的問題上和大臣產生了衝突，殺了勸諫堅守的大臣後率文武百官逃奔上邽。其餘各地也混亂不堪，關中亂成一鍋粥，石勒方面趁勢而入拿下了長安，這時劉曜的兒子們才想到反撲結果遭遇慘敗，連最後的老巢上邽也失守，劉曜諸子和手下大臣慘遭殺害，同時匈奴各部也遭慘重打擊，自此石勒成為勝利者，成為兩趙之爭的勝利者，公元330年石勒正式稱帝，後世為了區分兩個趙將劉曜稱為前趙，石勒為後趙。
但如前趙一樣，後趙並沒給苦難的人們帶來希望，相反還是進一步的殺戮。
