奧比中光在VALSE 2021展示最新3D智慧摳圖演算法

10月8日至10日，“CV界”盛宴VALSE 2021（視覺與學習青年學者研討會）在杭州國際博覽中心舉行。大會金牌贊助商奧比中光攜3D智慧摳圖演算法、開發者套件等全新技術方案與產品，以“感知·3D全視界”為主題參展，吸引現場青年學者與專業觀眾駐足交流。9日上午，奧比中光研究院演算法團隊負責人錢貝貝博士在大會上發表了《3D視覺更懂世界——從感知到認知》的演講，分享了奧比中光3D視覺感知技術從深度資訊獲取到三維重建、落地應用過程的研發突破。

精細到頭髮絲，奧比中光3D智慧摳圖演算法來了

在演講中，錢貝貝博士圍繞3D感知、3D重建、3D識別等話題，分享了奧比中光3D視覺感知技術的基本原理與公司最新演算法研發突破。基於硬體級的高精度3D資訊與前沿深度估計算法，奧比中光可實現基於紋理增強的三維人臉重建、人體重建，並透過3D識別演算法開發出各類3D智慧應用。

今年3月，奧比中光研究院徐玉華博士在CVPR發表論文 “Bilateral Grid Learning for Stereo Matching Networks”，提出了一種能夠以高解析度迴歸視差圖的方法，可在雙目深度估計過程中同時保持高效率與高精度，顯著改善了傳統方法在弱紋理、邊緣情況下深度估計不準、資訊缺失等情況，使得深度圖更加完整。

奧比中光研究院演算法團隊負責人錢貝貝博士在VALSE 2021發表演講。

現場，錢貝貝博士展示了團隊最新研發的3D智慧摳圖演算法全新技術方案。該方案實現了基於背景建模的輕量化前景摳圖，能夠同時摳取清晰的3D人像及物品，可廣泛用於直播帶貨、影片會議、遊戲渲染、場景理解、自動駕駛、目標跟蹤、混合顯示、電影製作等場景。

錢貝貝博士介紹，主播在直播帶貨場景中同時要售賣許多款商品，在摳圖時，如果用傳統2D摳圖常用的語義分割、顯著性檢測等方式，容易受物品類別及顯著性等限制，難以準確從雜亂的背景中摳取主播與商品。奧比中光透過背景+人圖軟分割的方法，設計了輕量化的Stage Block網路框架，並基於大量資料訓練，實現了人、物與背景的精確分割，並可根據不同需求平衡摳圖的精度與速度。

在真實資料集的測試表現中，相比於其它方式，基於背景建模的輕量化前景摳圖的各方面資料都有了顯著提升，其FLOPs降低89。9%，Param降低 87。7%。

圖注：基於背景建模的輕量化前景摳圖與其它方式效果對比。

除了能同時摳取人像與物品，摳取自定義距離背景也是奧比中光3D智慧摳圖的一大亮點。3D摳圖支援使用者自定義摳圖距離，可過濾掉背景中不相關的人物，起到保護隱私的作用。如使用者在家中參加影片會議時，可以調整3D摳圖距離，不讓其他參會者看到自己的家庭成員。

圖注：現有線上影片會議軟體中的2D摳圖和奧比中光3D摳圖效果對比。

此外，錢貝貝博士介紹，3D智慧摳圖對於細節的還原也更為精確，可以更好地摳取頭髮、手指等細節。“這是由於3D相機採集的深度資訊為演算法提供了先驗資訊，有利於演算法將細節處摳取得更為完整。相比之下，2D摳圖演算法容易導致細節丟失，需要配合更高的解析度才能夠摳取細節，但更高的解析度會導致演算法速度變慢，體驗變差。”

圖注：觀眾在奧比中光展位上觀看3D智慧摳圖演算法演示。

iToF應用開發DIY，奧比中光開發者套件也來了

在VALSE 2021展位現場，奧比中光還帶來了iToF開發者套件及3D視覺機器人開發套件等產品，獲得不少開發者駐足和青睞。

今年9月，奧比中光釋出iToF智慧視覺平臺，提供從晶片、模組、智慧演算法到整機的全棧式方案，滿足了AIoT多元化的iToF方案需求。在VALSE 2021上展出的iToF開發者套件包含奧比中光基於iToF智慧視覺平臺開發的相機Femto，搭載高品質iToF感光晶片，適用於0。2m-5m距離內3D物件掃描及深度資料測量，可用於開發影片安防監控、掃地機器人、3D掃描、物流包裹檢測等產品應用。

圖注：觀眾在奧比中光展位上觀看Femto、開發者套件等產品演示。

另一款ORBBEC MR100則是以3D視覺硬體及軟體演算法為基礎的移動機器人開發平臺。ORBBEC MR100搭載了奧比中光Astra Pro深度相機、單線鐳射雷達、英偉達Jetson nano高效能處理器、串聯機械臂、柔性機械爪等部件，內建ROS melodic系統，支援3D人體骨骼識別、3D視覺目標跟隨、物體識別、三維空間重建與導航等，還可以執行深度學習，支援拓展語音互動等功能。