大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

資訊時代,最豐富的是什麼?當然是資料,海量的資料,而如何高效管理、有效利用這無窮無盡的資料,是擺在整個行業面前的難題。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

據權威市調機構IDC的報告,預計到2024年,全球以HDD為代表的大資料儲存量將達1。62ZB(16。2億TB),年複合增長率30%左右。

而在快資料方面,以SSD為衡量標誌,2024年將達333EB(3。33億TB),年複合增長率更是高達50%左右。

但即便如此,

這些也不到實際資料生成量的1.5%,仍有海量的資料得不到有效利用,被白白浪費掉。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

西部資料副總裁兼中國區業務總經理劉鋼

為什麼會出現這種情況?資料該如何有效挖掘、處理?

近日,西部資料副總裁兼中國區業務總經理劉鋼在深圳國際大資料與儲存峰會上發表了題為“創新儲存架構,突破IPFS算力瓶頸”的演講,暢談了IPFS的亮點、痛點,以及西部資料的儲存技術、優勢。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

所謂IPFS,也就是星際檔案系統,這是一種對標HTTP的新型網際網路協議,從傳統的中心化儲存,變為分散式儲存,透過內容和身份定址,支援建立完全分散式的應用程式,可以使資料傳輸更快、更安全。

IFPS弱化了中心化儲存的極端需求,尤其是大大節省了資料儲存、管理與服務提供成本,相比於目前集中化的雲端儲存,被普遍視為一種更有前途的儲存和傳輸協議。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

事實上,分散式儲存的概念並不新鮮,也曾經出現過一些類似的技術和架構,比如早期的Storj,但是IPFS在去中心化方面,做得更進一步。

由於去中心化、區塊鏈的特性,IPFS也被很多人完全和虛擬貨幣、挖礦聯絡在一起,甚至認為是個泡沫。

其實這是很大的誤解,IPFS的用處遠不止於此,而任何技術只要使用得當都能發揮其積極作用,IPFS對於儲存的不同需求,更是在倒逼推動儲存技術不斷革新。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

在傳統雲服務商面前,IPFS服務商對於大資料、大容量儲存的苛求更加極致,腳步也更快。

頭部雲服務商部署的硬碟,容量從8TB計劃到18TB,花了足足4年時間,IPFS服務商則在2020-2021年間,只用了短短4個季度,就普及了18TB,而且預計在2022年,20TB就會快速推廣,22TB甚至是26TB也將嶄露頭角。

就西部資料而言,目前大量的業務還是在雲服務方面,但是也能看到IPFS服務商的快速增長,尤其是對容量的需求在快速演進。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

西部資料副總裁兼中國區業務總經理劉鋼

劉鋼在演講中提出,在數字經濟時代,資料就是石油,就是發展的動力,而大量資料被浪費,很重要的一個原因是

儲存架構、技術沒有及時地跟上

,無法及時儲存、管理、利用資料,因此迫切需要創新儲存架構,為更多的資料提供海量的儲存、快速的訪問。

劉鋼認為,在海量資料面前,目前的企業級儲存架構,面臨四個方面的挑戰,包括

資料增長迅速、儲存效能需求倍增、TCO成本負擔增加、更綠色的能效體系標準。

直白地說,就是要大容量、快速訪問、低成本、低功耗。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

當然,沒有任何一種儲存介質或者架構能夠滿足以上所有需求。事實上,無論資料還是儲存,都是分層的,或者說可分為不同的應用場景,能夠一一對應。

資料方面,可分為極熱資料、熱資料、溫資料、冷資料、極冷資料,而儲存架構也相應的分別是極熱儲存、熱儲存、溫儲存、冷儲存、極冷儲存,從高到低大致按照訪問頻率、延遲而劃分。

比如,極熱儲存對應記憶體,儲存隨時需要低延遲讀寫的資料,而極冷儲存是少次、大塊寫入的持久儲存資料,比如金融、醫療、廣電、監控等行業的長期歸檔。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

對於不停層級的資料和儲存,西部資料都有著對應的技術、產品,有針對性地滿足應用需求。

比如

極冷儲存,SMR疊瓦式機械硬碟就是最佳方案之一。

雖然它在頻繁寫入方面存在一些天然缺陷,但是極冷資料恰恰不需要頻繁寫入,SMR又具備高儲存密度(單碟已達2。2TB)、低成本、低功耗的優勢。

包括Dropbox在內的許多客戶都已經批次部署SMR硬碟,用的就是西部資料Ultrastar DC HC650,容量達20TB

,九碟封裝,而且在近期無需太大變革就能做到30TB。

冷儲存可以選擇CMR傳統磁記錄硬碟,以及ePMR能量輔助磁記錄等新技術產品

,這方面的典型代表就是西部資料Ultrastar DC HC550 HDD,容量可高達18TB,應用了TSA三級磁臂、能量輔助磁記錄(EAMR)技術以提高效能。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

溫儲存自然首選主流SSD,比如西部資料Ultrastar DC SN640

,非常適合讀寫均衡的混合型負載。

而熱儲存當然對應著高效能SSD,比如西部資料Ultrastar DC SN840

,適用於密集型工作負載。

在這樣的分層儲存創新架構之下,西部資料的企業級硬碟產品線,可以同時滿足從熱儲存到極冷儲存的不同場景需求,從不同角度,針對性地分別解決大容量、快速訪問、低成本、低功耗各方面的挑戰。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

值得注意的是,西部資料提出的儲存架構,同時包含了HDD、SSD,各有自己的定位,這就涉及到了SSD、HDD演進關係的問題。

劉鋼表示,2014年之前,大家普遍認為SSD會逐步淘汰HDD,但是隨著雲服務商雲端儲存的大規模部署和擴張,大容量硬碟的需求在迅猛增加,而

綜合考慮容量、成本等各方面因素,企業級HDD依然是大資料儲存的主力

同時由於儲存技術的天然屬性,HDD更有利於持久儲存資料,尤其是變動較少甚至訪問較少的冷資料、極冷資料,SSD則容易出現斷電幾個月後資料丟失的問題,同時對斷電等意外也更敏感,備災方面更為棘手。

至於HDD機械儲存的未來技術路線,西部資料有多個方向在並行推進,CMR、SMR、ePMR、MAMR等等,有多種選擇也是一種好事兒,西部資料也對機械儲存密度、容量的增長充滿信心。

另外,劉鋼還透露,PCIe 4。0儲存方面,去年已經發布了消費級的WD_BLACK SN850,伺服器方面也在做規劃和準備,平臺大規模部署後就會跟進,因為目前很多產品還在過渡階段。

特別是在NAND快閃記憶體方面,曾經作為機械儲存巨頭的西部資料,也早就實現了華麗轉型,並握有三大突出優勢。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

一是產能。

西部資料如今已是領導的NAND快閃記憶體廠商,

聯合鎧俠(原東芝儲存)目前擁有全球最大的NAND快閃記憶體產能,容量供應占據足足三分之一

,同時也承諾堅持固定的技術投資。

西部資料旗下的晟碟半導體(上海)有限公司,其上海工廠三期廠房擴建專案也已在去年開工,同時西部資料還在上海建立了實驗室,都是為了擴充西部資料的製造設施、技術研發,以支援潛在的產能擴張。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

二是技術優勢。

西部資料和鎧俠已經持續投資合作長達20年,已經將3D快閃記憶體技術推進到第六代BiCS 6,堆疊層數高達162層。

這雖然不是業界最多的,但也從另一個側面顯示,西部資料其實不需要堆疊過多層數,

透過將芯片面積減少多達40%,加之側面單元密度大大提升,在單位面積內提供了更大的儲存密度和容量

,這反而有利於降低技術難度、成本,也有利於保證產能。

同時,儲存密度的提升,不僅取決於堆疊層數,也要看儲存型別,

西部資料正計劃後續在企業級中投入密度更高的QLC。

另外,西部資料第六代快閃記憶體架構還應用了陣列下電路技術的CMOS,以及四平面執行技術,相比前代效能提升2倍以上,讀取延時降低10%,輸入輸出效能提升66%。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

三是縱向整合優勢。

一塊完整的SSD,包含

快閃記憶體、主控、韌體

三大部分,只有三位一體才能發揮最佳效能和穩定性,而西部資料在這方面就體現了自己的縱向整合優勢,技術領先的NAND快閃記憶體、先進的主控、高效能的自主韌體,都在掌握之中。

西部資料還介紹了一個經典案例:

某大型電商客戶的要求是SSD效能一致性波動範圍不超過10%,Ultrastar SN640 NVMe SSD則展現了高平穩的I/O一致性,實測波動率僅為0.11%。

換言之,在生命週期的任何時候,在不同負載下,它都有幾乎完全相同的表現。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

正是有了層級分明的創新儲存架構、層次完善的豐富儲存產品,西部資料在IPFS快速興起的當下,已經贏得了眾多客戶的青睞。

比如與

星辰天合、浪潮

攜手的解決方案部署了Ultrastar DC HC550 18TB HDD,與

杉巖資料

合作的海量物件儲存系統應用了Ultrastar DC SN840/SN640 NVMe SSD以及大容量硬碟Ultrastar DC HC550 18TB HDD,與

長城超雲

打造的異構產品組合叢集採納了Ultrastar DC HC550 18TB HDD 和Ultrastar DC SN640 7。68TB NVMe SSD,與

靈動

聯手的儲存方案配備了Ultrastar DC HC550 18TBHDD和Ultrastar DC SN640 NVMe SSD。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

結語:

可以說,無論現在還是未來,資料都是資訊科技時代最核心的財富,也是各行各業創新的原力,而面對爆炸一般增長的資料量和管理需求,尤其是隨著IPFS的強勢崛起,儲存技術如何跟上時代,最大限度釋放資料時代的價值和紅利,不至於成為瓶頸,也是擺在儲存行業、企業面前的一道難題。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

峰會現場西部資料展臺

憑藉全系列儲存架構和解決方案,西部資料應可以為客戶提供豐富的高效能、大容量、低成本、低延時、低成本、高可靠、高可擴充套件、高可維護的產品,幫助客戶最佳化儲存架構,強化效能並降低成本,賦能IPFS基礎建設,賦能企業數字化轉型,緊跟時代浪潮。

大資料倒逼硬碟革命!四層架構、三大優勢還有誰?

西部資料Ultrastar DC SN840 NVMe SSD和西部資料Ultrastar DC HC550 18TB HDD

昊源一線,每天準時給您推送最熱最前沿的行業資訊;

更多硬體乾貨,可關注我們(微信公眾號:昊源諾信)期待您的到來!