像傑克一樣,世優科技用實時虛擬技術復活近400個“阿凡達”

大河報·大河財立方記者 裴熔熔

瓜子臉、大眼睛、高馬尾⋯⋯一個可愛活力的二次元美少女,在熒屏上唱歌跳舞,讓人挪不開眼。可鏡頭一轉,畫風突變,這個二次元美少女的真身竟然是個五大三粗的大老爺們。

是不是一個令人驚詫的反轉?

這,就是世優(北京)科技有限公司(以下簡稱世優科技)動作捕捉技術與實時數字人技術的直接體現。品牌虛擬吉祥物可以在節目、晚會中與人們互動;動漫角色可以跳出劇情,與粉絲親切交談。像傑克用意念控制阿凡達一樣,不需後期製作,實時即可完成。

在世優科技的“虛擬工廠”裡,已經有近400個虛擬人物被這樣成功復活。

而這一切,都源於創始人紀智輝一個看似荒誕的想法。

像傑克一樣,世優科技用實時虛擬技術復活近400個“阿凡達”

“我們不僅能夠做到,還能做得更好”

2010年,好萊塢導演卡梅隆的3D鉅作《阿凡達》在中國內地上映,炫酷的畫面和技術讓國內觀眾大受震撼。不少人熬夜排隊買票,一票難求。

就像一顆種子,《阿凡達》拉開了3D版立體電影的序幕,也讓創業多年的紀智輝,又一個夢想發芽:“裡面的虛擬技術,我覺得我們不僅能夠做到,還能做得更好。”

乍一聽,紀智輝的想法是不是有些荒誕?

號稱十年醞釀、四年打造、5億美元成本製作的《阿凡達》,豈能說超就超?紀智輝這個預判,從何而來?

其實紀智輝早在2004年,就與合夥人組建了虛擬技術實驗室,開始研究包括資料探勘、圖形影象演算法、工作流引擎、實時動捕技術等前沿技術,成為國內比較早一批研發實時數字人技術的高頂尖團隊,但是當時的市場一直沒有成熟落地化的應用。

直到《阿凡達》的出現,讓他嗅到了虛擬技術的潛在市場,積累多年的技術終於有了變現的風口。

“《阿凡達》採取的主要是動作捕捉技術。演員穿上一套特殊的服裝,上面有很多感應球,用來記錄捕捉到演員的表情動作資料,但並不是實時全身動捕。那時候的表情捕捉技術十分有限,很難實時追蹤嘴唇運動蹤跡。而是採用先記錄下面部和身體資料表演捕捉資料,結束後再將捕捉的演員資料放到工作站上後期解算,然後經過人工精修,最後再離線渲染等多個工序才能輸出最終畫面。”紀智輝說。

長期在實驗室從事動作捕捉技術研究,讓他意識到,這項技術還可以再最佳化,實現“實時”複製,不再需要後期的渲染和加工。

於是在2011年,世優科技誕生了。

“像傑克一樣,用意念操控阿凡達”

2020年底,一批國漫迷在追劇、催更《狐妖小紅娘》時,驚喜地發現,自己的偶像塗山蘇蘇竟然從動漫中走出,開起了直播。

一頭金黃的頭髮、兩隻粉色的狐狸耳朵、一襲粉白國風少女裙,“原裝”的塗山蘇蘇,在直播間賣萌、跳舞、唱歌,還和粉絲進行實時互動。不少粉絲驚呼:有生之年看到了“活著”的女神。

其背後的支撐技術,就是紀智輝最初的設想——實時數字人技術。

就像一場雙簧或者提線木偶表演,螢幕前的虛擬人物擺出各種姿勢,跳躍、旋轉、唱歌、做鬼臉;屏幕後則是一個真身演員,身穿動捕服、頭戴面部裝置、手戴資料手套,與任意虛擬形象進行點對點的繫結,進行實時消抖運算、動畫修正、處理表情身體手指的同步,並把資料實時發給渲染引擎,進行即時渲染與環境模擬,輕鬆地對螢幕前的虛擬人物進行操縱。

像傑克一樣,世優科技用實時虛擬技術復活近400個“阿凡達”

“就像傑克躺在艙裡,用意念控制了一個阿凡達,讓阿凡達按照他的意願活動說話,就是這樣一個概念。”紀智輝說。

在虛擬世界裡,除了虛擬數字人,還有虛擬場景才能構成虛擬世界。

2021年央視牛年春晚的舞臺上,一首《牛起來》讓很多人印象深刻。在虛擬的大紅中國元素舞臺上,劉德華時而置身於金邊紅色高臺,時而置身於“中國結”上與機械牛共舞,簡直炫酷到沒朋友。歌曲最後,舞臺由虛入實,劉德華與王一博、關曉彤合唱互動,完美融合。

無縫銜接的畫面,讓很多人以為劉天王也來到了春晚現場。但事實上,除了王一博、關曉彤和真實的春晚舞臺,劉德華部分的演出都是由世優科技的實時虛擬合成系統實時摳像合成。

像傑克一樣,世優科技用實時虛擬技術復活近400個“阿凡達”

除此之外,TCL雙11總裁直播、伊利金領冠年味大街帶貨直播、網易大話西遊青春同路直播、飛碟汽車全系新品釋出會、騰訊王者榮耀KPL虛擬直播等,都是由世優科技製作完成。

作為國內實時虛擬技術的先行者,世優科技如今已經成為眾多品牌和平臺的首選技術提供商。至今服務騰訊、天貓、京東、網易、華為、小米等頭部品牌商超1000個,與央視、鳳凰衛視、東方衛視、湖南衛視、浙江衛視等達成深度合作,成功復活的虛擬人物近400個。2020年,實現了近3000萬元的營收額,今年預計超5000萬元。

“有錘子卻沒有釘子”

不到10年間,紀智輝的理想照進現實,帶領世優科技成為行業領軍者。但回首創業路,其實並沒有那麼容易,世優科技甚至坐了好幾年的“冷板凳”。

2011年,新生的世優科技,很快陷入了一個尷尬的境地:有技術積累,沒有硬體裝置;等兩者都有了,卻沒有適合的市場。

“我們算是涉足虛擬技術很早的一批,當時全球都買不到相關穿戴裝置,也沒有經過驗證的商業模式。《阿凡達》製作使用的裝置都是他們內部研發,且只有部分身體裝置。所以我們全部都是自己進行設計和研發。”紀智輝說。

因為有前期多年的技術儲備,在2012年,世優科技就自主研發出了Puppeteer虛擬工廠系統,這是國內首創的實時&快速虛擬內容製作、虛擬IP打造平臺,實時數字人和快速動畫製作技術在國內外都處於領先水平。

但彼時的市場並不給力。

“2014年之前,國內使用的還是3G網路,也沒有Wi-Fi,這樣的通訊基礎條件根本無法支援大規模地推行虛擬技術,國內也沒有這種型別的電影。所以很少有人用我們的技術,一般還是採用傳統CG(計算機繪圖)人工製作方式做動畫。”紀智輝說。

空有一流技術,卻沒有市場,世優科技被多個投資人調侃:“典型的有錘子卻沒有釘子。”但因為對虛擬市場堅定看好,“只出不進”的世優科技並未被拋棄。

隨著4G、5G網路鋪開,短影片、直播等各種新業態浪潮迭起。尤其是隨著Z世代(即1995~2009年間出生的一代人)的崛起,二次元、三次元文化在年輕人當中成為潮流。真人演繹和傳統CG動畫無法實時還原虛擬世界的精妙,且製作成本高、效率低,市場對虛擬技術的訴求越來越高。

到了2017年,世優科技終於有了大施拳腳之機。

“未來有萬億的藍海市場”

如今的世優科技,實時虛擬技術已運用到教育、媒體、影視動漫、遊戲、綜藝娛樂、金融、品牌營銷、直播/短影片等多個領域,用紀智輝的話說是“現階段世優科技對外的業務,無論是從技術演算法、硬體裝置、軟體系統、技術製作等多方面均能提供全體系的技術和產品的商業化應用”。

不過在他看來,實時虛擬技術仍處於早期階段,很多行業和領域都沒有鋪開,未來將有萬億的藍海市場。

僅從直播行業來看,據前瞻產業研究院資料,2019年中國影片直播行業收入達到1082億元,全國有3。9億人在關注虛擬偶像,其中最大的二次元活動社群B站月活使用者達1140萬,虛擬主播佔直播營收 40%。同期,B站、虎牙等大型直播平臺也都開啟了線上、線下虛擬主播活動。同期遊戲市場規模達到2300 億元,其中與數字人相關度較大的RPG類遊戲約佔30%的份額。

對於公司下一步發展,紀智輝表示,將在不斷提高研發水平和服務能力的基礎上,在全國範圍內拓展更多合作公司和子公司,推進實時虛擬技術在更大範圍內落地。

今年年初,世優科技在鄭州建立了分公司——鄭州世優華冠動漫科技有限公司,旨在深度挖掘中原大地豐富的文化資源,打造黃河文化IP,使河南特色文化走出中原,走向世界。在此次2021年全國雙創活動週上,世優華冠將會發布少林寺的IP形象——功夫寶寶。

像傑克一樣,世優科技用實時虛擬技術復活近400個“阿凡達”

“世優華冠以行業首創的IPCT模式為基礎,對‘功夫寶寶’進行深度的開發。‘功夫寶寶’憨萌可愛,十八般武藝樣樣精通。他骨子中流淌著中原人善良質樸、勇敢正直、樂於助人、熱情好客的性格,始終用知足常樂的心態,透過製造快樂和傳遞好運給更多的人帶去正能量。”紀智輝說。

據介紹,未來世優華冠將圍繞“功夫寶寶”品牌,進行大量創意內容開發,透過系列微內容在新媒體平臺的傳播,有效提升使用者對品牌文化的認可度;同時持續線上下舉辦各種主題活動,進一步增強形象與受眾的互動性,實現經濟效益和社會效益的雙豐收。

延伸閱讀

世優科技是領先的虛擬技術提供商,專注於實時虛擬技術與AI數字人的研發與應用。公司自主研發的Puppeteer虛擬工廠系統是國內首創(2012年)的實時&快速虛擬內容製作、虛擬IP打造平臺,在實時數字人和快速動畫製作領域在國內外處於領先水平。

在AI應用方面,世優科技定位做為AI的“UI”,深度結合AI技術,曾研發過的AI類應用有某品牌手機智慧助手、AI伴讀寶、7*24小時AI虛擬虛擬主播、全息AI可互動數字人等產品,為手機、教育、直播帶貨、數字展廳虛擬接待等領域提供了智慧多元化應用。

公司主要業務是為B端客戶提供軟硬體系統產品和技術服務,典型客戶行業為廣電、網際網路、短影片/直播、品牌營銷、教育、影視動畫等。

廣電行業典型案例如歷年央視春晚的虛擬技術及支撐及服務(2021年春晚劉德華“牛起來”),鳳凰衛視、東方衛視、湖南衛視、山東衛視、浙江衛視、廣西衛視等也都採購或使用過世優科技的技術服務。另外,世優科技為華為、小米、騰訊、百度、網易、京東、阿里、蘇寧、海爾、TCL、歐萊雅等頭部企業提供虛擬IP打造服務或相關產品。

目前,世優科技實時IP庫中已累計“復活”的虛擬IP形象近400個。

責編:劉安琪 | 稽核:李震 | 總監:萬軍偉