阿里OceanBase:中國自研資料庫一路走來

阿里OceanBase:中國自研資料庫一路走來

作者:蘇中

阿里研究院資深技術研究專家

“2021年5月20日,從國際資料庫領域權威組織TPC(Transaction Processing Performance Council)傳來好訊息,阿里巴巴公司自主研發的資料庫產品OceanBase以1526萬QphH的效能總分打破TPC-H 30000GB的歷史記錄,拿到了OLAP(線上分析處理)世界第一。2019 年和2020年,OceanBase曾兩次登頂世界OLTP(線上交易處理)TPC-C 基準效能測試。這意味著OceanBase成為資料庫領域唯一在事務處理和資料分析兩個領域的國際技術評測中都拿到第一的中國自研資料庫。”

阿里OceanBase:中國自研資料庫一路走來

資料庫也可能被卡脖子

2018年4月16日,時任美國商務部部長的羅斯下令,禁止美國公司向中國電信裝置製造商中興通訊出口電訊零部件產品。一時間,這家正準備為5G市場摩拳擦掌的電信裝置製造巨頭一下被卡住了脖子,從產品研發到裝置生產幾乎全線休克, 企業幾乎停擺。

三天後,《科技日報》在頭版頭條推出題為 “亟待攻克的核心技術”專欄,系統刨析我國關鍵核心技術的短板,引起了舉國上下,尤其是科技界巨大的反響。“卡脖子專欄”先後列舉了35個“卡脖子”技術,商用資料庫管理系統(DBMS),即資料庫技術,位列其中。

資料庫的簡要發展史

1970年,IBM聖何塞研究實驗室的研究員埃德加·科德發表題為《大型共享資料庫的關係資料模型》的論文,第一次提出了關係資料庫模型,解決了當時應用開發中極其複雜的資料管理、使用和共享的問題,為計算機科學打開了一個嶄新的技術領域。科德也因此獲得1981年的圖靈獎。科德可能沒有想到的是,資料庫軟體如今已經成長成為每年500億美元規模的市場,從查詢天氣預報、預訂共享出行、網購商品到各種線上服務,資料庫軟體幾乎支撐著我們身邊的每一項資訊服務。

目前,商用領域的資料庫軟體幾乎被Oracle, Microsoft, IBM,teradata等美國公司壟斷。

阿里自主資料庫之路,始於開源框架的探索

時間回到2003年,伴隨著阿里新成立淘寶業務快速成長,阿里在資料庫研發的投入開始加速。為了響應高速增長的業務需求,淘寶甚至啟用了全亞洲最大的Oracle RAC叢集。不過,效能瓶頸和成本壓力還是讓資料庫系統成為了淘寶業務發展的難點。

和同時代的其他網際網路公司類似,阿里自主開發資料庫系統的道路開始於搭建基於開放原始碼資料庫系統的自研資料庫平臺。在開源資料庫專案MySQL之下,阿里技術團隊構建了一個分支叫AliSQL,投入研發力量不斷最佳化系統性能和實現新的功能。2016年雲棲大會上,阿里雲宣佈AliSQL開源,相比社群版MySQL, AliSQL有70%效能提升,在支援秒殺場景的情況下,效能甚至有百倍的提升。

雲原生給資料庫技術自主發展帶來了新的歷史機遇

隨著網際網路尤其是移動網際網路技術的發展,IT技術進入了大資料的時代。資料庫技術也從集中式平臺發展到分散式技術。隨著雲時代的快速到來,依託雲原生技術的分散式資料庫技術帶來了資料庫技術發展帶來新的技術革命。雲原生將系統資源解耦池化並支援資源分散式水平擴充套件能力,同時雲原生資料庫透過將儲存與計算分離,實現了傳統資料庫達不到的計算彈性以及系統韌性。特別是雲原生技術實現了資料庫的計算分析一體化,解決了傳統資料庫做OLTP(線上交易處理)和OLAP(線上分析處理)需要用使用兩套不同的技術方案、並在兩套系統中耗費大量的資源做資料遷移的缺點。

雲原生資料庫OceanBase

2010年,在開源分散式運算框架Spark專案開源公佈的同一年,阿里成立了OceanBase專案組,目標就是成為雲原生分散式資料庫的領跑者。

OceanBase的商業化道路一步一個腳印。2014 年,OceanBase 支撐了當年雙 11 的峰值,實現了核心業務交易場景零的突破。2017 年,OceanBase 第一次走出阿里巴巴,南京銀行成為第一家外部客戶。如今,OceanBase已經在多家機構落地應用,幫助企業實現數字化轉型。正如本文開頭來自TPC的好訊息那樣,OceanBase在業內不斷獲得國內外同行肯定。

技術評測中都拿到第一的中國自研資料庫。

從科德的論文發表至今,資料庫技術已走過50多個年頭。正如無線通訊技術經歷過5個技術階段的發展,如今在向結合衛星通訊的6G技術演進中一樣,資料庫技術在雲計算時代也在飛速演進,中國必將迎來自研資料庫百花齊放、群星燦爛的時代。

責編:斌卡(轉載及媒體合作請留言區留言)