“18項AI推理效能紀錄！包括影象分類、自然語言理解、智慧推薦、語音識別等場景。”
在剛剛結束的
MLperf
推理測試評測中，
浪潮NF5488A5
閃耀全場，成為MLperf榜單中打破記錄最多的AI伺服器。它在Resnet50模型推理任務處理達到每秒處理54。9萬多張圖片；Bert自然語言理解推理任務達26675條/秒；DLRM智慧推薦每秒推理處理能力達210萬條。
浪潮NF5488A5創造18項MLPerf推理效能記錄
憑藉強大的效能與軟體最佳化，浪潮NF5488A5在與同樣師出名門的20家企業“參賽伺服器”測試對比中脫穎而出，獲得了訓練、推理
雙料冠軍
。
等等，為何當今AI這麼火？連評測都轉成了AI專案測試了，真正市場需要有這麼大嗎？
答案當然是肯定的。IDC預測，未來五年人工智慧市場複合增長率將達到44。9%，整體規模將達到175億美金。
未來AI商業化有兩個巨大的市場空間，一是AI產業化，二是產業AI化。人工智慧經過數十年的發展，已經從實驗室階段到進化到AI產業化。從智慧音箱到自動駕駛、生物識別，應用場景不斷成熟，人工智慧也正逐漸滲透到各行各業，產業AI化迎來了爆發性增長。
為AI產業提供計算力的平臺，就是浪潮NF5488A5這樣效能強大的AI計算伺服器。
我為AI狂，浪潮5488A5問鼎MLPerf評測
接下來我們先來了解一下當今炙手可熱的MLPerf測試。MLPerf基準聯盟，現有50多家成員，包括谷歌、微軟、Facebook、阿里巴巴、浪潮等企業，以及斯坦福、哈佛等高校。
MLPerf是一套用於測量和提高機器學習軟硬體效能的通用基準，主要用來測量訓練和推理不同神經網路所需要的時間。近日所進行的測試就是針對伺服器推理方面效能。MLPerf測試集包含了不同領域的Benchmark子項，主要包括影象分類、物體識別、翻譯、推薦、語音識別、情感分析以及強化學習。
既然是測試，就肯定會有跑分的環節。MLperf針對不同領域設定了不同的Benchmark，對於MLPerf Training測試，每個Benchmark的評價標準是：在特定資料集上訓練一個模型使其達到Quality Target時的Clock time。由於機器學習任務的訓練時間有很大差異，因此，MLPerf 的最終訓練結果是由指定次數的基準測試時間平均得出。Train測試時間包含了模型構建，資料預處理，訓練以及質量測試等時間。
據瞭解，本次MLPerf推理基準測試設有六個基準，重點面向影象分類、目標物體識別檢測、醫學影像分割、機器翻譯、自然語言處理和智慧推薦等常見機器學習任務。參賽選手可以選擇提交任何基準及相應場景的結果。
MLPerf專為
資料中心
場景設計了一系列Benchamrk，資料中心場景下的各種推理基準測試包括： 影象分類、物體檢測、語言翻譯（gmnt）、語義理解、智慧推薦等。
在資料中心Closed任務的16項效能指標中，浪潮NF5488A5打破了11項整機效能記錄。
我們來看看其中Resnet50和Bert-99。9這兩項測試。Resnet是殘差網路（Residual Network）的縮寫，廣泛用於目標分類等領域以及作為計算機視覺任務主幹經典神經網路的一部分，典型的網路有resnet50、resnet101等。
浪潮NF5488A5在Resnet50中close封閉任務場景的server專案中得分262305，奪得該專案第一名；offline專案得分303264；在開放最佳化賽道更是達到驚人的549782/秒的成績，同比2019年伺服器全球最好紀錄提升3倍，與其他選手拉開了明顯差距。
BERT模型是谷歌提出的基於雙向Transformer構建的語言模型，主要考察伺服器的模型訓練效能表現。浪潮NF5488A5在該項測試中依然力拔頭籌，甚至在得分方面壓制住了備受關注的DGX系統，要知道這可是NVIDIA剛剛推出的明星級產品，其他型別伺服器選手更是遠遠甩在了身後。
內功深厚的浪潮NF5488A5
那麼，相比其他同類型伺服器，浪潮NF5488A5又有何過人之處呢？
先來看看硬指標，NF5488A5是浪潮自研的新一代AI伺服器，特點在於4U空間內可支援
8顆
第三代
NVLink
全互聯的NVIDIA
A100 GPU
，搭載2顆支援
PCIe4.0
的AMD EPYC
7742
處理器。
仔細觀察不難發現，這些豪華硬體背後的特點就是：
高頻寬、低延遲
！也就是說，浪潮NF5488A5在系統拓撲上採用了超低延遲設計，支援PCIe 4。0全鏈路最佳化，高頻通訊單元採用一級拓撲最近連線，最大限度提升處理器到AI晶片間的通訊效能。透過配置
NUMA
節點，確保每顆處理器與其直連的GPU之間通訊效能最優，最大限度降低通訊延遲。
此外，NF5488A5還採用了當今備受關注的高溫化設計，透過深度最佳化系統結構設計，確保裝置可在高環溫下穩定執行，因此適用範圍、場景也更廣。
正是因為有了這些過人之處的設計與最佳化，才使得浪潮NF5488A5能夠輕鬆打破18項AI效能紀錄。
AI計算正在助力各行各業快速發展
幾年前，行業使用者問題大都集中在“AI能做什麼？”，而現在，關注的則是還有哪些應用沒有用上AI。從AI的發展到壯大的過程，似乎快的令人難以想象。
與此同時，計算力的快速發展極大促進了各行業應用場景的成熟，AI產業化正加速向產業AI化邁進。網際網路、智慧城市、金融行業已經全面融入了AI，未來五年，智造、零售等行業也在逐步加速產業AI化程序。
開啟智慧手機，各式各樣的應用幾乎都與AI和計算力有著密切聯絡。微信中的圖片識別、語音轉文字；金融應用中的智慧客服；工具軟體中的拍照翻譯；購物軟體中的拍攝識物等等，它們的背後都是由AI伺服器來支撐。
以浪潮NF5488A5為例，如此強大的軟、硬體系統，它能夠廣泛應用於影象影片、語音識別、金融分析、智慧客服等典型AI應用場景，幫助AI使用者高效完成AI基礎設施和開發環境的構建，縮短開發週期，顯著提升AI開發和應用效率，在享受更高計算效能的同時降低部署、執行成本。
一直以來，浪潮都在深耕人工智慧計算領域，其產品也早已享譽全球。早在2017年，浪潮就曾釋出“智慧計算”戰略，聚焦打造全球領先的AI算力。現如今，浪潮擁有全球最豐富的AI產品陣列，涉及訓練、推理、邊緣等全棧AI場景，還構建了領先的AI框架最佳化、AI開發管理和應用最佳化等全棧AI能力。
IDC釋出最新一期《2020H1中國AI加速計算報告》。報告顯示，2020年上半年，中國AI伺服器市場規模達到12。9億美元，同比增長53。7%。其中，浪潮AI伺服器市佔率百分點達53。5%。 連續三年保持中國市場第一。
