英偉達 Omniverse，這才是元宇宙的基建工程

2021 GTC 如約而至，黃仁勳在昨日下午進行了主題演講。在為期一個半小時的演講中，「皮衣教主」全程高能輸出，介紹了多項新技術，並且這些技術有望為萬億美元產業帶來改變。主要技術內容包含了人工智慧平臺、對話式 AI、數字孿生及自動駕駛等等。總結起來就是——全力擁抱元宇宙。

Omniverse Avatar 平臺

在本次演講上，老黃還帶來了萌版的自己——Toy-Jensen（即老黃口中的 Toy-Me）。

這個萌版老黃不僅人物形象與老黃一致，聲音都用他自己的語音進行合成，甚至他還具備實時光追，確保圖片動效保持高水準且在交流時能夠注視交流者的眼睛。

Toy-Jensen 還能夠與人進行深度互動，在演示中，交流者的提問涵蓋了氣候、天文和生物，即便問題很棘手，Toy-Jensen 也能對答如流。而這就是老黃要推出的全方位虛擬化 AI 助手平臺——Omniverse Avatar，在下一個階段中，AI 助手將變得擬人化，更有溫度、更有生命力。

Omniverse Avatar 能夠讓開發者更快地建立、定製人工智慧助手，這些 AI 助手能夠幫助使用者處理數十億的客戶服務互動，包括了餐廳點單、銀行交易以及個人網上預約等。

Omniverse Avatar 的使用案例還包括了用於客戶支援的 Project Tokkio 和用於影片會議的 Project Maxine。

Project Tokkio 最常見的使用場景便是餐廳的客戶點單，虛擬人物化身可以與多個客戶交流，理解他們的意圖並且能夠主動進行推薦。

在去年的 GTC 上，老黃帶來了 Maxine。時隔一年，英偉達針對客戶服務和影片會議提升了Project Maxine 的能力。藉助 RIVA（語音軟體開發工具包），Maxine 能夠將人的語音進行實時轉錄和翻譯，且語調和音色保持不變。

Omniverse 則根據語音模擬 3D 面部動畫，任何語言的虛擬頭像都能同時播放，供影片另一端選擇。即便影片端發言者本人低頭看指令碼或會議紀要，Maxine 也會讓另一端的使用者感覺到（發言者）在看著自己。

簡單來說，與你進行影片會議的人展現出的神態和動作並不是你肉眼中看到的樣子，你眼中的一切都是 Maxine 透過他的語音合成給你看的。或許對方正坐在咖啡館，且周圍很嘈雜。

Omniverse Avatar 集圖形、計算機視覺、語音識別技術等一體，並全是自家的技術。Avatar 的自然語言理解是基於 Megatron 530B 大型語言模型，可以識別、理解和生成人類語言。推薦引擎由 NVIDIA Merlin提供、感知能力由 NVIDIA Metropolis 提供。

這些技術將來也會落地於智慧汽車，Project Tokkio 上車後，車輛便有了更自然更好用的 AI 助理，它不僅能夠與車內人員進行互動，還會主動推薦更好的駕駛模式和行駛路線。

Hyperion 8 助力更快地實現自動駕駛

並且在黃仁勳看來，到 2024 年，絕大多數新電動車都將具備真正的自動駕駛能力。英偉達目前正在開發用於構建自動駕駛汽車的端到端流程，以及全棧車內自動駕駛系統和全球雲地圖。

NVIDIA Drive 是一個全棧式的開放自動駕駛平臺，而 Hyperion 8 則是英偉達最新的完整硬體和軟體架構，它的感測器配置包括：12 顆攝像頭、9 顆毫米波雷達、12 顆超聲波雷達和一個前置鐳射雷達，另外，Hyperion 8 還配套了兩顆 Orin 晶片。

黃仁勳表示，汽車實現自動駕駛的過程其實就是將汽車改造為機器人的過程，而機器學習開發的關鍵支柱，則是在 Omniverse 平臺上透過 Drive Sim （合成數據生成器）進行模擬和生成合成資料以及在 Orin Robotics 晶片上透過 Drive AV 構建實時機器人工作流。

翻譯一下就是，生成的資料很重要，其次要進行驗證，最後才是輸出為機器人工作流。

在自動駕駛研發中，將感測器獲取的資訊轉換為計算機可用的虛擬世界資訊是至關重要的一步，這也就是老黃口中的第一個目標。藉助視覺影象和高精地圖，Hyperion 8 能夠完成避障、定位、環境感知以及路徑規劃，最終達到目的地。

另外，這套架構的設計既能提供高保真的感知，也有冗餘和容錯機制。而且這套硬體也具有足夠的算力和可程式設計性，可應對車輛生命週期內的軟體改進。

英偉達從全世界各地收集 PB 級的道路資料，並且他們擁有大約 3，000 名訓練有素的標記員，建立並訓練資料。儘管如此，合成數據的生成依然是英偉達資料策略的基石。對了，Drive Sim Replicator 是一個構建於 Omniverse 平臺的合成數據生成器，在構建 Hyperion 8 和收集到資料之前，Replicator 引導 AI 標註工具和模型，Replicator 能夠以人工無法實現的方式標記真值。

英偉達還建立了一個鐳射雷達材質庫，另外還在構建毫米波雷達材質庫。英偉達所做的一切，都是為了自動駕駛中對多感測器做融合。

這一段老黃的高能輸出，都是在強調英偉達自動駕駛架構 Hyperion 8 發展的重要基石，即是資料和多感測器融合方案，並且他們透過物理模擬的方式，獲得了精準的光束反射。另外，輔以高精度地圖的作用，讓他們的自動駕駛方案又多了上帝視角，且多了一重冗餘。

光說理念不行，在演講中，老黃還現場展示了搭載 Hyperion 8 架構的賓士 S 的路測影片。測試路段為英偉達總部周邊。在這段路測中，搭載 Hyperion 8 架構的賓士 S 先後完成了併線、人行橫道避讓、交叉路口、環道及四葉草立交橋的通行。

路測場景既包含了封閉路段，也包含了城市開放道路，並且每一項 case 都處理的非常自然，與人類駕駛相差無幾。另外，駕駛者全程脫手，只是將目光注視在前方道路上。

老黃表示，自動駕駛不僅能改變我們出行、提高安全性，將 Maxine 融入車內後，我們與汽車的互動方式也將徹底改變。有了 Maxine 就像是有了私人管家，Maxine 還能向成員展示汽車看到的景象，使人和機器建構信任感。

如今輔助駕駛的重心正在從封閉道路轉向城市開放道路，開放道路中的不確定性是輔助駕駛的最大隱患，且長尾場景太多，需要不斷收集資料、最佳化迭代。華為 ADS、小鵬 NGP 讓我們對今後的開放道路輔助駕駛產生了遐想，如今英偉達 Hyperion 8 同樣讓我們產生了這種遐想。

老黃的 One more thing...

英偉達虛擬世界模擬引擎 Omniverse 貫穿了整個主題演講，機器人、自動駕駛車隊、倉庫、工廠甚至整個城市都將在 Omniverse 數字孿生中完成建立、訓練和執行。

倉儲物流無人化每年能夠為物流公司節省十幾億美元，配送 14 個披薩的路徑有 870 億種，對於達美樂來說，在 30 分鐘之內送達披薩也絕非易事。英偉達能夠為倉儲物流節約資金的同時提高效率，也能為配送問題提供最優解決方案。

以小見大，Omniverse 能夠模擬倉儲、工廠，能夠進行無人駕駛的模擬和驗證。英偉達還將建立一個數字孿生模型來模擬和預測氣候變化，並將它命名為 E-2，即 Earth-2。E-2 即是地球的數字孿生，在 Omniverse 中，E-2 將會以百萬倍的速度執行。目前英偉達所有的發明，均是實現 Earth-Two 所必不可少的。

老黃的演講在最終 ending 處被推向高潮，老黃稱：我想不到比這更宏偉、更重要的用途。