從手機、汽車到XR,AI開發的“大一統時代”來了?

智東西(公眾號:zhidxcom)

作者 | 雲鵬

編輯 | 漠影

掏出手機、人臉識別解鎖、向智慧語音助手詢問天氣狀況、檢視系統依據你的喜好推送的資訊……這些習以為常的操作,都在證明著同一件事:AI已經深入了我們生活的各個角落。

而今天,

AI能力正快速從智慧手機等移動領域向其他賽道拓展,從智慧汽車、XR到PC、各類智慧物聯網裝置,市場對於AI技術應用的需求日漸高漲。

隨著5G技術的成熟、高能效計算的快速發展、端雲融合趨勢的推動,我們身邊的各類終端裝置都在加深與AI的融合,AI應用落地也成為各行業數字化轉型“進階”的一部分。

作為深耕AI軟硬體技術多年的巨頭高通,也看到了這一趨勢。而

這些智慧網聯終端的出現,恰恰與高通想要做的是一致的:在萬物智慧互聯的世界中,用自己的技術和能力進行賦能。

從手機、汽車到XR,AI開發的“大一統時代”來了?

就在近期,高通釋出了自己的首個高通AI軟體棧(Qualcomm AI Stack),可以說,針對行業中的普遍難題——如何用一種簡便的方式,面向所有業務部門和產品線實現AI的拓展和普及?高通已經給出自己的獨特解法。

透過自身積累的AI技術對產業進行賦能已經成為科技巨頭的“兵家必爭之地”。高通AI技術棧的獨特性在哪裡,對於行業又意味著什麼?為什麼高通選擇在這個時間點發布自己的AI軟體“全家桶”?我們嘗試從產業技術視角來一探究竟。

一、 打破終端壁壘背後:紮根各行業多年練就“獨門秘笈”

當下,各類網聯終端裝置都開始具有智慧化趨勢,而對於企業和開發者來說,這既是機遇又是挑戰,機遇在於新的市場,而挑戰則在於如何高效地將AI能力落地在產品中。

正如目前科技行業的大趨勢一樣,高通AI軟體棧實際上就是一種面向企業和開發者的AI賦能。

那麼,高通到底做了一件什麼事?

實際上,高通將所有業務線的AI軟體功能訪問許可權,整合在了一個統一的軟體棧中,來提供跨智慧網聯終端的完整解決方案,來便利開發者進行面向不同智慧終端的AI模型和軟體遷移以及開發。

從手機、汽車到XR,AI開發的“大一統時代”來了?

我們可以把這個AI軟體棧想象成一個AI開發“全家桶”,需要什麼能力,開發者便可以從中快速獲取。

在這其中,

最重要的是“跨終端”這三個字

,這就意味著,OEM廠商們和開發者們針對單一產品進行的軟體模型開發,可以直接擴充套件到其他產品中,讓他們從開發到部署過程中的投入和成果可以被更充分的利用。

簡單來說,高通AI軟體棧能夠讓開發者面向所有高通技術支援的終端產品進行AI開發,包括智慧手機、XR、PC、物聯網、機器人、汽車等。

比如,基於驍龍移動平臺,針對智慧手機開發的一些技術成果,可以便捷地部署到搭載驍龍平臺的PC膝上型電腦上,無須重新開發,這大大加速AI開發的進度。

從模型準備、研發,到針對不同產品的細微最佳化,再到最後的模型部署,高通讓廠商和開發者能夠在一個統一軟體棧上完成對模型的量化和最佳化,打造出適合具體用例的特性。

在未來,智慧汽車、安防攝像頭這些產品,甚至可以輕鬆擁有原本應用在手持移動裝置上的面部識別功能,產品能力和使用者體驗都會有質變性提升。

為了更好地實現跨裝置開發,高通AI軟體棧基本支援現階段各類主流作業系統,包括Android、Windows、Linux以及面向網聯汽車的QNX等,同時在系統軟體層面,可以完整支援系統介面、加速器驅動以及模擬模型工具等。

在開發者庫與服務層面,高通AI軟體棧實現了對數學庫、編譯器和虛擬平臺的支援,編譯器可以針對特定內容進行定製化處理,開發者們用Python只要幾行程式碼就可以完成更多工作。

實際上,這些正是高通AI軟體棧最為關鍵的差異化優勢:

透過高通在豐富業務線上的軟硬體產品組合,支援客戶將其在一個業務線的投入和相關工作高效、低成本地擴充套件至不同領域。

這背後,是高通在智慧手機、汽車、XR、物聯網、PC等領域的深厚佈局。

從手機、汽車到XR,AI開發的“大一統時代”來了?

目前行業中其他大部分企業所提供的軟體棧多是針對於某個特定的行業領域的,因此

高通這種能夠提供跨智慧網聯終端解決方案的能力,是別的企業難以複製的。

除了跨終端開發的適用性、便捷性,高通AI軟體棧實現AI能力的能效比也十分出眾。

我們可以從高通AI軟體棧中看到“高通AI引擎Direct”這一部分,高通AI引擎Direct可以在最靠近模型或硬體的位置進行軟體編輯,能夠更好地釋放硬體效能、確保更高峰值表現。

而高通AI引擎Direct之上執行著AI runtimes,可幫助OEM廠商和客戶更高效地完成更多AI用例。此外,高通提供了神經網路架構搜尋(NAS)能力,來保障低時延和高精度AI計算,同時確保低記憶體和高能效。

總體來看,

高通提供了豐富的AI模型庫和模型開發工具、支援不同型別的框架、支援高通AI引擎Direct、支援不同的runtimes、還支援分析器和模擬工具

,可以說

為智慧網聯邊緣終端的開發提供了頗為完整的“AI百寶箱”。

二、解構軟硬體技術難題,從“實踐中”鍛鍊而出的AI

突破終端的開發邊界、提供便捷的AI能力支援,這種

高效的智慧硬體開發體驗背後,是高通多年來在底層AI技術側的深耕以及各條業務線產品組合對AI能力的充分應用、鍛鍊。

首先,從技術角度來看,最顯而易見的,相比高通的傳統強項智慧手機,物聯網或者汽車業務領域在不同場景下的功耗需求分析、模型型別、模型部署方式都是不同的。此外,不同業務對於準確性、功耗以及時延等方面的平衡要求也各不相同。

比如物聯網裝置往往注重低功耗、連線穩定性,而對於傳輸頻寬和計算效能需求一般不高,而車載場景往往要求資料傳輸具備極低延時、AI模型計算具備極高準確性,以保障道路和人車安全,並且這類任務處理負載往往是動態的,因為路況是瞬息萬變的。

再比如XR領域所應用到的手勢追蹤、眼球追蹤、3D重建AI模型與汽車領域所需的鐳射雷達AI模型大有不同,這些AI應用對於精準度的要求和其帶來的影響,相互之間都有很大區別。

當然,從硬體的角度,如何打造一個開發者硬體,將一個技術領域的IP進行跨平臺、跨領域的擴充套件,都是高通AI軟體棧落地過程中解決的挑戰。

除了對於關鍵技術的攻克,高通AI軟體棧也是從“實踐中”鍛鍊而出的AI能力,因為當下高通的AI能力已經在各類終端中應用,併為各類終端使用者提供了更便捷的使用體驗。

我們最熟悉的莫過於應用在智慧手機端的驍龍移動平臺。

從手機、汽車到XR,AI開發的“大一統時代”來了?

今天,智慧手機有著前所未有的強大計算、感知和連線的能力。而AI已經融入到智慧手機體驗的方方面面,從影像、語音識別到資料安全。

2021年驍龍技術峰會上,高通發言人公佈道,透過驍龍移動平臺,高通的AI技術已經支援了超過18億部終端。從2016年至今,高通AI引擎已經迭代至第7代。在AI引擎上的持續投入,也是高通對於終端側AI應用潛力的認可。

可以說,今天智慧手機AI算力的提升,與這些移動晶片巨頭在晶片AI技術上的投入密不可分。

第一代驍龍8和驍龍8+旗艦移動平臺,搭載了相比上代驍龍888平臺AI效能提升4倍的第7代高通AI引擎,搭載的第三代高通感測器中樞模組增加了低功耗AI子系統。

該AI子系統包括一枚低功耗智慧感知ISP,可以在保障使用者隱私安全的情況下讓手機攝像頭保持長時間工作,提供防窺屏、物象實時檢測等功能。

甚至檢測到使用者開車時,手機會自動調出導航APP並切換到語音控制模式,而檢測到使用者進行跑步時則會開啟軌跡記錄和健康資料監測等功能,手機會具有更多“智慧”。

可以說,在智慧手機上,不論是拍照、遊戲,還是影象、音訊處理,都離不開AI技術的加持,而出色的AI效能和能效也一直是驍龍移動平臺的優勢之一。

除了智慧手機,汽車也成為了AI落地的新興焦點賽道。

從手機、汽車到XR,AI開發的“大一統時代”來了?

在汽車領域,高通透過Snapdragon Ride平臺,面向不同的自動駕駛場景,提供不同等級的算力。

比如說,Snapdragon Ride平臺能夠以小於5瓦的功耗提供為汽車風擋玻璃上的ADAS攝像頭提供10 TOPS的算力,它也可以為L4、L5級別的自動駕駛場景提供超過700 TOPS的算力。

汽車數字座艙也是AI落地,推動互動體驗變革的關鍵領域。2019年,高通推出第三代驍龍座艙平臺,支援沉浸式圖形影象多媒體、計算機視覺和AI等功能,獲得了不少汽車廠商的青睞。自2020年起,驍龍座艙平臺已支援中國汽車品牌推出約50款車型。

在此基礎上,2021年推出的第四代驍龍座艙平臺採用5奈米工藝,作為高效能計算、計算機視覺、AI和多感測器處理的中樞,並支援車輛電子電氣架構不斷演進。

根據最新資料統計,目前高通在車載網聯和汽車無線連線領域市佔率排名第一,全球所有主要汽車製造商都選擇驍龍數字座艙平臺來打造智慧網聯汽車。

在物聯網領域,AI正在推動家庭、工業、企業和智慧城市等很多物聯網應用的發展。

現在高通已經為全球近13000家企業提供了物聯網解決方案,在物聯網不同的細分領域進行產品的落地商用和全球拓展。未來,在物聯網領域的機器人、智慧製造、智慧城市、智慧零售、智慧安防、智慧倉儲等產業中,AI有著廣闊的應用空間。

在“元宇宙”概念火爆的當下,

不論在VR還是AR賽道,高通都可以說是“隱形大佬”,因為全球幾乎所有主流XR終端廠商都採用了高通的晶片方案

,從海外的Meta、微軟到國內的眾多AR、VR創企。

據統計,目前已有超過50款搭載驍龍平臺的VR和AR終端釋出。就在前不久,高通在驍龍之夜活動上首次推出了基於驍龍XR2平臺的無線AR眼鏡參考設計,併發布了高通FastConnect XR軟體套件。

就在今年6月,高通開放了自家專門面向開發者的XR軟體開發平臺Snapdragon Spaces,這一平臺於去年11月首次推出,也是高通AI軟體棧的重要組成部分。

簡單來說,Snapdragon Spaces就是高通憑藉自己已驗證的成熟技術、開放的跨終端平臺和生態系統,為開發者們提供的開發工具,來幫助開發者們打造各類XR應用,提升XR應用的實際體驗。

能夠看到,高通在XR領域的這些持續投入和研究,已經讓他們成為元宇宙時代的核心賦能者。這些佈局已經幫助高通在XR領域打造了一套較為完善的技術體系,從平臺、軟體、演算法到生態系統和參考設計。

透過這些業務佈局,我們能夠清晰地看到,

高通各個業務線的產品組合都已經與AI進行了深度融合,AI已經在諸多品類中進行了賦能,並且帶來了真正便捷、貼心的使用體驗。

這種“從實踐中”鍛煉出來的AI能力,也是高通在AI側獨有的核心競爭力之一。

三、萬物互聯大背景下,技術路線走向“統一”已成必然

不論是高通在智慧手機之外的汽車、XR、安防、物聯網、PC領域的積極佈局,還是此次高通AI軟體棧的正式釋出,

我們都能看到,高通正在將自己各條業務線中的技術進行統一化部署。

用高通自己的話來說,就是將一個業務部門或產品線上的相關投入以及IP進行調整,以應用於不同的業務部門。

高通將其稱之為“統一的技術路線圖”(One Technology Roadmap)——一個可擴充套件應對所有增長業務需求的技術路線圖。

從手機、汽車到XR,AI開發的“大一統時代”來了?

實際上,高通AI軟體棧已經為不同業務及產品建立統一SDK打下了堅實基礎。

高通AI軟體棧已經整合諸多SDK,比如面向汽車ADAS解決方案的Snapdragon Ride SDK、面向物聯網的高通智慧多媒體SDK,以及高通近期釋出的Snapdragon Spaces XR開發者平臺。

高通的AI模型可以實現跨平臺和跨產品線的靈活遷移,從而發揮自身長期積累的跨品類技術優勢。

憑藉自身在AI、影像、圖形、處理和連線等領域的技術領先性,高通幾乎為每類邊緣側終端都提供了智慧、高效能、低功耗系統和各類無線元件,從TWS耳機到智慧汽車均有應用。

從手機、汽車到XR,AI開發的“大一統時代”來了?

從高通統一的技術路線圖中,

我們能夠看到高通在AI終端側的技術領先性和領導力,而在未來,高通勢必會藉助高通AI軟體棧進一步實現統一技術路線圖的擴充套件,進而擴大在智慧網聯邊緣的領先優勢。

結語:拓展AI應用邊界,高通不只是一家“手機晶片公司”

高通AI軟體棧的釋出,無疑成為高通拓展AI技術邊界、賦能行業的關鍵節點。其良好的跨品類開發適用性、高AI能效比的特點,為開發者和廠商進行AI拓展和普及提供了便利。

目前我們正快速邁向人與萬物智慧互聯的世界,各類智慧裝置能夠實時連線至雲端,讓終端、體驗資料受益於不斷增加的內容處理能力和雲端儲存空間。而5G、AI和雲的結合也將帶來的新的商業機遇和廣闊市場。