Nov。15 2021
產業洞察
根據TrendForce集邦諮詢最新發表的伺服器報告指出，近幾年受到新興應用的激勵，加速了人工智慧及高效能運算的發展，且伴隨著仰賴機器學習及推論的需求提升，建構出的模型複雜度也隨著需求的精細程度有所增加，因此在計算時須處理的資料量亦隨之增大。在此情境下，龐大的資料處理量受硬體效能侷限，導致使用者在裝置的建置面臨了效能、容量、延遲度以及成本間的取捨問題，從而刺激HBM（High Bandwidth Memory）及CXL（Compute Express Link）的出現。功能上來說，HBM為新形態儲存器，主要協助更多元、高複雜運算而需要的I/O作輔助，而CXL則為使儲存器資源共享的協定，提供xPU更為便捷的應用。
現行DRAM架構垂直堆疊，HBM突破現有解決方案的頻寬限制
為了不受限於傳統儲存器的頻寬束縛，儲存器原廠開發了HBM，其結構為基本邏輯顆粒上連線數層的DRAM裸晶，而DRAM裸晶之間以矽通孔及微凸塊3D堆疊達到高頻寬設計，層數又以4層及8層為主流。而以現行世代來看，HBM2e為目前最新的量產世代，單層16GB的裸晶堆疊4層或8層，使得單顆容量分別為8GB及16GB，頻寬可達410-460GB/s，而下一代HBM3已進入機構件送樣階段，可望於2022年量產。
根據TrendForce集邦諮詢觀察，2021年HBM位元需求佔整體DRAM市場仍未達1%，主要包含兩大原因：首先是消費級應用因成本考量下幾乎未採用HBM，其次是伺服器市場中作為AI功能的建置低於1%，即伺服器搭載相關AI運算卡的比重仍小於1%，且多數儲存器仍使用GDDR5（x）、GDDR6來支援其算力。
展望未來，雖然HBM仍在發展期，但隨著應用對AI的依賴度增加（包含模型複雜化來最佳化AI精準度），需要HBM的加入來支援硬體。其中，以與AI最相關的FPGA和ASIC來看，FPGA產品有英特爾（Intel）的Stratix、Agilex-M以及賽靈思（Xilinx）的Versal HBM匯入HBM；而ASIC方面，多數資料中心在AI的建置中，逐漸以自研的ASIC晶片作為發展方向，例如谷歌（Google）的TPU、騰訊（Tencent）的邃思、百度（Baidu）的崑崙皆使用HBM。再者，英特爾（Intel）的server CPU Sapphire Rapids亦規劃於2022年底釋出帶HBM的高階版本。TrendForce集邦諮詢認為，HBM有助於突破AI發展中受限的硬體頻寬瓶頸，未來市場上將出現更多相關應用。
高速運算催生的新協定，CXL將更有效整合系統中的運算資源
CXL則是基於PCIe Gen5規格演變的協定，讓CPU及其他加速器（例如GPU、FPGA等之間）建立高速、低延遲的互聯性，使其各自的儲存器模擬成一個共享的空間，允許儲存器資源共享，從而降低系統成本並獲得更高的效能，因此有利於解決AI及HPC的工作負載。
而市場上類似概念的儲存器資源共享協定並非只有CXL提出，英偉達（NVIDIA）的NVLink、超威半導體（AMD）及賽靈思（Xilinx）的Gen-Z，皆凸顯大廠對系統資源整合的重視。然而，TrendForce集邦諮詢認為，CXL能由眾多協定中脫穎而出的主要原因，來自於其協定為英特爾提出，而該公司在CPU市場佔有高採用率的優勢，英特爾CPU支援的號召能使得CXL及其相關硬裝置商得以自上而下的統合，因此相繼獲得超威半導體、ARM、英偉達、谷歌、微軟、Facebook、阿里巴巴、戴爾等公司的加入，成為目前呼聲最高的儲存器協定。
在允許CPU及其他硬體進行儲存器資源整合下，利於降低各硬體間的通訊延遲，也能提高AI及HPC發展需要的計算效能。為此，英特爾將在下一代伺服器CPU Sapphire Rapids中支援CXL，而儲存器原廠亦規劃支援CXL的產品方案，其中，三星（Samsung）宣佈將推出支援CXL的DDR5模組，用以擴張伺服器儲存器容量，滿足AI運算需要的龐大儲存器需求。未來CXL亦有機會推及至NAND Flash的方案支援，使得DRAM及NAND Flash雙雙受惠。
HBM及CXL互動合作有利於AI發展，實際應用於2023年將更有能見度
TrendForce集邦諮詢認為，CXL匯入將隨著未來CPU內建CXL功能而普及化，而未來AI伺服器的硬體建置，將能見到更多同時採用HBM及CXL的設計。其中HBM能分別增加CPU及加速器各自的頻寬，加速資料處理速度；CXL則建立彼此間溝通的高速互聯性，兩者互動有助於擴充套件AI算力從而加速AI發展。
在儲存器資源共享下，模型的設計能擺脫硬體瓶頸，持續往更復雜的架構建設。TrendForce集邦諮詢預估，隨著支援CXL的英特爾CPU Sapphire Rapids匯入達一定覆蓋率，以及儲存器原廠陸續量產更高頻寬的HBM3及具備CXL功能的DRAM與SSD，2023年可望於市場上見到更多HBM及CXL合作使用的應用。
PS：當您需要在報道中引用TrendForce集邦諮詢提供的內容或分析資料，請註明資料來源為TrendForce集邦諮詢。
封面圖片來源：拍信
★★★
火熱
報名中
★★★
▶
關於我們
TrendForce集邦諮詢是一家橫跨儲存、積體電路與半導體、晶圓代工、光電顯示、LED、新能源、智慧終端、5G與通訊網路、汽車電子和人工智慧等領域的全球高科技產業研究機構。公司在行業研究、政府產業發展規劃、專案評估與可行性分析、企業諮詢與戰略規劃、品牌營銷等方面積累了多年的豐富經驗，是政企客戶在高科技領域進行產業分析、規劃評估、顧問諮詢、品牌宣傳的優質合作伙伴。
上下滑動檢視
分享
收藏
點贊
在看
