概談元宇宙技術

一、元宇宙概念

2021年元宇宙這個概念真的火的一塌糊塗,所以我也來湊一下熱鬧講一下我理解的元宇宙, 但是技術公司當然就是從技術的角度去講元宇宙了。

2020年4月24日,歐美著名說唱歌手Travis Scott也在《堡壘之夜》中舉辦了一場虛擬演唱會,參與人數高達1230萬,表演者虛擬形象和三維虛擬場景帶來的沉浸式體驗,激發了大量玩家的參與熱情,獲得廣泛好評。後面Facebook更加直接把公司名字改成“Meta”。然後位元組跳動收購了一家VR硬體公司Pico,隨後騰訊、百度、網易等一票網際網路大廠跟進,佈局、VR、元宇宙賽道。各家網際網路平臺和個大衛視也是鉚足了幹勁一共推出了10幾檔跨年晚會,而各家跨年晚會有一個突出地特點但就是都採用了酷炫的虛擬技術。

今年不愧是“元宇宙元年”,元宇宙正在從概念變成現實。

在元宇宙概念中詮釋道,“元宇宙(Metaverse)是整合多種新技術而產生的新型虛實相融的網際網路應用和社會形態”。用大白話就是透過新的技術製造一個跟現實世界一模一樣的虛擬世界。

元宇宙的概念最早在1992年的《雪崩》中提到,而後受制於技術的不完善,元宇宙的概念更多的在影視中提到,例如1999年~2003年的《駭客帝國1~3》、2018年的《頭號玩家》、2021年的《失控玩家》。

按照Roblox的官方說法,

元宇宙產品應具備八大要素:身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明。

然而元宇宙沉浸性的塑造並不僅由特效的細節和技術性的渲染來打造,還需透過藉助視覺以外的其他感官以及科技創新,讓使用者在虛擬環境中的達到心理的沉浸以及情感的參與。

筆者認為這次“元宇宙”這個概念是會慢慢被大眾接受,並且也會開始進入大家的生活之中,主要是

娛樂

教育

這兩個領域會最先取得效果,之後也會涉及

協同辦公

科研

領域等。

二、元宇宙技術相關

1。 虛擬形象分類和框架

虛擬形象是元宇宙的重要組成部分,使用者想要進入元宇宙必須先擁有虛擬形象的化身。

人工智慧產業發展聯盟根據虛擬形象製作技術及其在市場上的形態總結出一套虛擬形象通用系統框架:

概談元宇宙技術

其中互動模組為虛擬形象的拓展項,一些側重於展示的虛擬形象無需具備互動能力(如小紅書、抖音平臺的虛擬KOL),而強調互動的虛擬形象可透過

語音語義識別等AI技術

真人操控

來完成與使用者的互動。

具有互動能力的虛擬形象可進一步劃分為真人驅動型虛擬形象和智慧驅動型虛擬形象兩類:

1。 真人驅動型虛擬形象是在完成原畫建模和關鍵點繫結後,由佩戴動捕裝置或特定攝像頭的真人實時驅動,多應用在直播等泛娛樂領域(注:崽崽等產品的虛擬形象不屬於真人驅動型互動,屬於預設動作型互動)。

2。 智慧驅動型虛擬形象旨在最佳化流程提高效率,多應用在專業場景。

概談元宇宙技術

2。 虛擬形象產業鏈

(1)概覽

概談元宇宙技術

虛擬人產業鏈從下至上可分為基礎層、平臺層、應用層。

其中基礎層為虛擬形象的製作提供基建,例如晶片對感測器所採集的資料進行預處理並渲染模型,渲染引擎進一步最佳化燈光、毛髮等細節。基礎層領軍企業主要是Meta、英偉達、Unity等技術壁壘深厚的巨頭。

平臺層中的軟硬體系統企業從基礎層獲得資料資訊後透過軟體演算法重現人物動作,生產技術服務平臺提供一站式虛擬形象解決方案,AI平臺提供互動技術能力,代表性企業包括騰訊、網易等網際網路大廠和商湯科技、科大訊飛等AI頭部企業。

應用層則更多聚焦在為虛擬形象填充內在和應用場景上,例如短影片、直播、遊戲、影視等領域。

(2)主要入局者

概談元宇宙技術

英偉達在2020年12月開放測試虛擬協作平臺 Omniverse ,該平臺為開發者提供一系列技術與工具,以助其高效構建3D虛擬場景或真實世界的數字孿生。

在2021年4月的GTC2021GPU技術大會上,英偉達CEO黃仁勳以逼真的1:1虛擬化身現身14秒,其所處場景亦為渲染出來的虛擬畫面,從而展示Omniverse 強大的模擬能力。

英偉達依託

GPU+AI

優勢在2021年11月的GTC2021人工智慧大會上正式釋出用於建立

AI

虛擬形象的技術平臺

OmniverseAvatar。

該平臺將現有的語音識別技術、推薦引擎、影片處理和分析技術、大型語言模型、面部動畫和渲染技術、光線追蹤技術等融為一體,基於以上核心SDK使用者可建立具備互動能力的AI虛擬形象。

根據風格與應用場景的不同,英偉達推出的虛擬人分為三類:

1。 根據本人形象生成的卡通虛擬人 Toy-Me

2。 可實時進行多語種翻譯 的超寫實虛擬人

3。 可進行零售結賬與客戶服務的虛擬機器器人

概談元宇宙技術

3。 虛擬形象技術方案前瞻

(1)3D建模技術

3D建模技術與動畫製作軟體已發展的較為成熟,已廣泛應用於電影、遊戲等領域。

早期3D建模技術以結構光掃描為主,雖可實現毫米級重建精度,但過長的掃描時間導致其

難以對運動目標進行較好的刻畫

,近年來多相機矩陣技術克服了以上問題,多相機矩陣技術可滿足20~140臺相機的高精度同步、快速拍攝和儲蓄,由此獲得的人臉模型可精確到皺紋、毛孔等細節。

客戶在獲得模型的3D格式資料後,可進一步利用Maya等工具集對其進行處理以生成3D動畫。

(2)動態光場重建技術

動態光場重建技術的高速發展可讓光場測量三維世界中各個方向上流動的光,基於此特點可以更好的呈現不同觀看視角下事物的光影效果,為3D建模提供更加豐富的影象資訊;

光場技術應用在VR/AR頭顯領域可以使頭顯模擬出人眼感知光線和聚焦的方式,從而呈現出更自然的觀感,或顯著改善由長時間佩戴裝置導致的眩暈感。

2021 年 4 月頭顯技術創業公司 CREAL 釋出的 VR 頭顯便採用光場顯示器與中心凹結構,與大多數採用基礎3D顯示技術的VR頭顯相比,CREAL頭顯可以使使用者在任何場景任意距離自動對焦。

概談元宇宙技術

(3)AI語音互動&捏臉

當前全球AI主要應用還聚焦在城市治理和運營領域,在文娛、醫療農業等領域的滲透率相對較低。

近年來隨著深度學習演算法不斷最佳化、算力大幅增加,計算機視覺、自然語言處理等分支技術取得突破性進展,基於自然語言處理技術的人機互動產品及服務因此實現高速增長。

以虛擬主播、數字員工為代表的虛擬人將客服答疑、智慧營銷等多種功能合而為一,並有助於塑造客戶品牌形象,有望成為人機互動產品的價值突破點。

在AI虛擬形象捏臉領域國內網易伏羲是相關研究的拓荒者。為了滿足遊戲玩家個性化需求捏臉系統始於《上古卷軸3》現在已廣泛應用在《天涯明月刀》、《逆水寒》、《永劫無間》等MMORPG遊戲中。

隨著捏臉引數不斷增加,在提升個性化程度的同時也增加了捏臉的難度。

為了讓使用者能輕鬆定製專屬於自己的虛擬形象,2019年5月網易伏羲AI Lab攜手密歇根大學發明面部捕捉深度學習演算法MelnGame,僅需玩家上傳一張人物肖像照片就可以生成虛擬面部的形狀和紋理,與此同時該演算法還會根據遊戲年代設定調整面部特徵,現已在《逆水寒》、《永劫無間》等遊戲中得到應用。

概談元宇宙技術

(4)動作捕捉技術

概談元宇宙技術

當前動捕技術按照實現方式不同分為三類:光學捕捉、慣性捕捉、視覺捕捉。

光學捕捉

透過攝像頭對演員身上貼上的馬克點進行追蹤來獲取演員動作,該方式可實現多目標同時捕捉,但對環境要求較高,且造價高昂。常常應用在醫療、運動、電影等專業領域以及對高精度,低延遲要求較高的平臺。

慣性捕捉

的硬體基礎是IMU(慣性測量單元),透過演算法計算IMU在特定谷歌節點上的運動軌跡來實現動捕,該方案成本相對低廉,但精度較低,且會隨著使用時間的增加累計誤差。常常應用在影視作品中。

視覺捕捉

以新興的計算機視覺技術為底層技術,較上述兩類方案而言更簡單易用、成本更低,但與此同時演算法開發難度大、精度難以得到保障。該動捕方式更多應用在消費場景,例如可以透過手機自帶的深感攝像頭完成基礎面部和肢體捕捉,目前多應用於“紙片人”虛擬主播,隨著虛擬形象加速吸引年輕群體,低門檻的視覺捕捉方案有望成為UGC創作者湧入虛擬形象賽道的首選。

概談元宇宙技術

(5)渲染技術

日本機器人專家森昌弘提出的恐怖谷理論:當機器人/虛擬人與真人的相似 度高到某一臨界點時,人們對其產生的反應將會由好感轉變為極其反感, 併產生排斥、恐懼等負面心理。

概談元宇宙技術

早期3D引擎渲染出的蠟像感虛擬形象會給使用者帶來不適,近年來隨著PBR技術(基於物理實驗的渲染技術)不斷進步,Unreal Engine 4、Unity 3D 5 等渲染引擎均能更真實地反映模型表面折反射光線的強弱,從而突破恐怖谷效應。

Epic Games旗下的渲染引擎UnrealEngine於2021年2月推出高保真虛擬人制作工具 MetaHuman Creator,該工具擁有從髮型、膚質到體型等多種真人掃描素材,使用者可自行組合素材以快速建立高保真 虛擬人,基於Unreal Engine的渲染能力,MetaHuman Creator可實現光源在不同膚色、紋理下的不同呈現,從而達到高精細度。

概談元宇宙技術

電影、遊戲宣傳片、廣告短片等預錄內容多采用離線渲染技術,設計師可花費大量時間完善細節,但對於舞臺表演、直播等實時互動場景,離線渲染不再適用。

與數小時渲染一幀畫面的離線渲染相比,實時渲染每秒至少渲染30幀畫面,對硬體能力提出了較高要求,目前英偉達RTX顯示卡及其平臺可提供高效的GPU渲染解決方案。

另一方面,受限於有限的計算資源,實時渲染可持續時效亦有限,倘若計算能力或渲染能力不足,將會在實時互動中出現穿模、靜止等“翻車”現象。

4。 VR/AR/MR技術相關

自從全球進入資訊化以來,人類的終端經歷了2次迭代,第一代是個人電腦,第二代是自2007年至今的智慧手機。

縱觀2次迭代,我們發現能夠取代上一代終端的硬體,都在計算、顯示、互動、儲存、通訊五大方面較上一次有革命性的變化和創新,VR/AR與智慧手機相比,上述五大方面均體現出革命性的變化。

VR從2014年的VR盒子到2016年PC VR頭顯再到2019年移動VR頭顯,預計2025年VR外顯將往更輕便更小型發展。

根據中國信通院釋出的體驗層次引數,目前主流的VR頭顯已經達到部分沉浸水平,以當前最暢銷的Oculus Quest2為例,單眼解析度已經達到2k水平,視場角98°重新整理率能達到90Hz,6DOFinside-out定位,除了視場角有微小的差距外,其他硬體引數均達到才部分沉浸的要求。

2021年上半年釋出的產品中部分頭顯解析度能達到5K水平,LYNX R1和惠普Reverb G2兩款VR頭顯新增眼動追蹤功能,預計下半年Quest2的升級版將增加眼動追蹤配置。

概談元宇宙技術

5G+雲XR解決當前VR/AR諸多痛點,助力VR/AR加速普及。

雲XR是指將雲計算、雲渲染和雲端儲存的概念引入XR業務中,藉助高速穩定的網路,將雲端的顯示輸出、聲音輸出等經過編解碼壓縮後傳輸到使用者的終端裝置,實現XR業務的內容上雲、渲染上雲和儲存上雲。

概談元宇宙技術

雲VR將內容儲存和影象渲染遷移至雲端,VR頭顯裝置只需要具備解碼、呈現及網路接入能力,大大降低了對頭顯裝置的效能要求,有效降低頭顯裝置的成本的同時也將促進頭顯裝置往輕量化發展。

概談元宇宙技術

5。 區塊鏈技術相關

(1)NFT

概談元宇宙技術

在區塊鏈上,數字加密貨幣分為原生幣和代幣兩大類。

前者如大家熟悉的比特幣、以太幣等,擁有自己的主鏈,使用鏈上的交易來維護賬本資料;

代幣則是依附於現有的區塊鏈,使用智慧合約來進行賬本的記錄,如依附於以太坊上而釋出的token。

代幣之中又可分為同質化和非同質化兩種。

同質化代幣,即FT(Fungible Token),互相可以替代、可接近無限拆分的token。

例如,你手裡有一個比特幣與我手裡的一個比特幣,本質上沒有任何區別,這就是同質化,就是同質化幣。

而非同質化代幣,即NFT,則是唯一的、不可拆分的token,如加密貓、token化的數字門票等。

也就相當於帶有編號的人民幣,這個世界上不會有兩張編號一樣的人民幣,也不會有兩個完全一樣的NFT。

因此,相較於FT,NFT的關鍵創新之處在於提供了一種標記原生數字資產所有權(即存在於數字世界,或發源於數字世界的資產)的方法,且該所有權可以存在於中心化服務或中心化庫之外。

NFT的所有權並不阻止其他人視察它或閱讀它,NFT並不是捕獲資訊然後把它藏起來,只是捕捉資訊然後發現該資訊與鏈上所有其它資訊的關係和價值。

(2)DeFi

DeFi的含義是去中心化的金融Decentralised Finance,他一般是指基於智慧合約平臺(例如以太坊)構建的加密資產、金融類智慧合約以及協議。

DeFi旨在以區塊鏈技術和密碼貨幣為基礎,建立無需中心化中介的金融服務,它描繪了這樣一個願景:每個人都可以直接參與全球範圍的點對點的金融活動。

DeFi具有普惠性、安全性、隱私性、結算便捷、結算成本低廉等特點。使用者對自有鏈上資產各項金融活動的完全掌控,所有人的金融操作不受地理、經濟水平、信任限制。透過智慧合約,能夠自動自主執行,規避暗箱操作。

Defi將構建元宇宙獨立、高效、透明的虛擬金融體系。

(3)DAO

DAO是Decentralized Autonomous Organization的縮寫,是基於區塊鏈核心思想理念(由達成同一個共識的群體自發產生的共創、共建、公治、共享的協同行為)衍生出來的一種組織形態,是將組織不斷迭代的管理和運作規則(共識)以智慧合約的形式逐步編碼在區塊鏈上,從而在沒有第三方干預的情況下,透過智慧化管理手段和Token經濟激勵,使得組織按照預先設定的規則實現自運轉、自治理、自演化,進而實現組織的最大效能和價值流轉的組織形態。

DAO利用區塊鏈來驗證交易,DAO中的每個人都可以釋出提議並進行投票來做決策,加密貨幣用來代表關鍵價值和投票權,在指定時期結束時具有最高數額的投票獲勝。

DAO的具有充分開放、自主互動、去中心化控制、複雜多樣以及湧現等特點。

與傳統的組織現象不同,DAO不受現實物理世界的空間限制,其演化過程由事件或目標驅動,快速形成、傳播且高度互動,並伴隨著目標的消失而自動解散。

在元宇宙的參與者依據興趣愛好、經濟利益、意識形態等重構社會圈層,利用DAO技術建立營利性組織,例如公司或者合作社等,非營利性組織例如社群、協會、興趣小組等,進行投票、決策、價值分配等。