自動駕駛演算法邏輯框架中的三層特性

“多”重，“自”主，“深”化演進

復睿微電子

方濤博士

前言

自動駕駛，作為目前汽車產業整體集中發力的重要技術方向，是一項融合了感測器，先進演算法，軟體生態，晶片硬體，地圖導航，整車架構、資訊保安、法律法規等多元素多維度，綜合性系統工程。

在這之中，演算法的開發和演進對於自動駕駛技術的發展起到至關重要的作用。目前的自動駕駛系統在工程實現上依然面臨各式各樣的挑戰，例如：極端惡劣的天氣條件，複雜多變的交通狀況，千奇百怪的corner case，以及與傳統智慧硬體裝置相比更為苛刻的功能安全等等。這也決定了整個演算法的邏輯框架是複雜的，進化的，多粒度的。

因此，我們以自底而上的方式，分析自動駕駛演算法在邏輯框架的各個層面的特性，梳理對自動駕駛演算法的理解以及對未來演算法發展方向的展望。

“Multi-”

是自動駕駛演算法的底層特性，來源於駕駛環境的複雜性。這一特性體現在：多感測器輸入，多模態資訊，多工處理，多尺度分析，等等。

· 多感測器輸入

隨著自動駕駛等級從L1向L5的提升，對感測器數量的需求也是與日俱增。以訊號畫素解析度最大，語義最清晰的攝像頭為例，在L2等級的自動駕駛階段，攝像頭的數目一般不超過5個，而以L4為目標的車型上，攝像頭的數目一般在10個乃至15個以上。

更多的感測器可以讓車輛感知更多更精準的資訊，而一部分的資訊冗餘也能為自動駕駛提供更好的功能安全保障。這就要求感知演算法必須以極低的延遲處理來自多資料來源的資料，以提供即時可靠的資訊，保障行駛的安全順暢。

· 多模態資訊

除了感測器的數目眾多之外，感測器的種類也是多種多樣。比如提供影象資訊的攝像頭，紅外感測器，提供點雲資訊的鐳射雷達和毫米波雷達，提供距離資訊的超聲波感測器，提供位置資訊的GNSS模組，提供位姿資訊的慣性感測器等等。

多樣的感測器決定了輸入訊號的多模態形式，也使得各種感測器資訊互補，冗餘安全。例如，相比於可以提供高畫素分辨，色彩資訊的攝像頭，雷達感測器雖然缺少語義資訊，但卻可以提供極高精度的點雲即深度資訊，並且不受環境光照條件的影響。

因此將各種感測器，多種模態輸入的資訊進行融合是感知演算法中的重要模組。主流的實現方向有前融合和後融合兩種。後融合演算法在各模態資訊進行特徵提取的基礎之上進行融合，資料和算力的要求較低，但資訊互補的效力也隨之降低。

與之相對，前融合演算法以不同感測器的原始資料進行融合，能夠更好的保留冗餘異構的多模資訊，更好的達到以資料之間的互補來降低識別誤判的風險的效果。同時，高安全性，高魯棒性的前融合演算法對算力也提出更高的挑戰。

· 多工處理

車輛在行駛過程中需要同時對多工進行處理，例如感知訊號的識別，檢測，分割，融合，目標追蹤，行為預測，規劃決策等等。能否高效的，即時的處理多工是保證車輛行駛安全的重要因素之一。

基於多工處理的演算法設計核心思路是儘可能多的複用骨幹網路來提取特徵以支援不同的下游任務。這樣做首先可以節省資源開銷，降低運算時延，其次由於各任務是基於相同的資訊進行分析和處理，可以充分保證結果的一致性和連貫性。Tesla的九頭蛇網路就是一種非常形象的多工網路架構。

· 多尺度分析

車輛行駛的環境是複雜多變的。從卡車，汽車，到單車，行人，乃至遠處的交通訊號和路上的錐桶障礙，需要檢測和追蹤的目標的大小，以及目標顯示在感測器上的尺度千差萬別。

因此，多尺度分析的發展，對於自動駕駛的演算法，尤其是感知模組的演算法會有相當顯著的提升。以特徵金字塔網路（FPN）和Swin Transformer等類似的多尺度特徵分析網路架構在自動駕駛系統的應用中提供高效的感知分析能力。

“Self-”

是自動駕駛演算法的中間邏輯層的特性，來源於演算法的終極目標—自動駕駛。這一特性體現在：自監督演算法，自注意力機制，自適應大小的高效網路設計空間，等等。

· 自監督演算法

有監督的深度學習演算法在自動駕駛領域已經有了長足的發展和應用，而自監督或無監督的深度學習演算法還有相當深厚的應用潛力有待挖掘。

深度學習的演算法是資料驅動的，自動駕駛更是如此。有監督學習需要以大量的標註資料對深度模型進行訓練，標註資料的數量和質量極大程度上影響模型的訓練結果。而大量的優質標註資料則意味著極大的時間，人力成本。而自監督學習框架可以極大程度的減少學習過程對於標註樣本的依賴。譬如利用資料增廣產生的正樣本與其他資料的負樣本之間的度量對比，或部分內容掩蓋再預測的方式學習到資訊資料的本質特徵。再由自監督學習中得到的理解了資料本質的預訓練網路應用於各項下游任務中。

除了判別式的自監督，生成式的自監督演算法在自動駕駛領域也有不可忽視的地位。在小樣本資料的情況下，透過對抗生成網路（GAN）的資料增強能使訓練獲得更好的學習效果。此外，更高的自動駕駛等級也意味著更高的系統安全性要求，而GAN網路在資料安全的攻擊對抗演算法中有著舉足輕重的作用。

強化學習是自動駕駛中規劃控制演算法的重要研究方向。其中以行為克隆（Behavior cloning）為代表的有監督強化學習是目前較為主流的方案，期望以專家的行為模板為機器演算法提供常識性的學習經驗。然而這樣的模仿學習需要大量的專家行為資料，而且模型的泛化能力也很差，很難應對複雜的道路狀況。就如同圍棋領域，沒有學習任何人類經驗的AlphaGo Zero在自我對弈了數百萬盤棋局之後，棋力已遠超參考人類棋譜的前輩Alpha Master。

相信在自動駕駛的領域裡，隨著交通法規的不斷細化完善，虛擬環境模擬能力的不斷增強，以及晶片算力的不斷提高，自監督的強化學習也將取代模仿學習成為規劃控制模組研究的新方向。

· 自注意力機制

基於自注意力機制的Transformer演算法從最初的NLP領域成功出圈到視覺領域後同樣取得了令人驚歎的成績。卷積神經網路（CNN）可以高效的對影象進行特徵提取是基於影象資訊區域性性、平移不變性、權重共享和稀疏連線的歸納偏置。而CNN網路感受野較小等侷限性同樣來自於這樣的歸納偏置。

相對應的，transformer的自注意力機制擁有強大的全域性建模能力，從根本上規避了卷積網路歸納偏置的缺陷，對於資料整體特徵的理解更有優勢。除了應用於傳統視覺的識別，檢測，和分割等任務之外，自注意力機制的全域性理解能力也能很有效的應用於多模態資訊處理，例如多感測器融合的演算法中。

· 自適應大小的高效網路設計空間

網路設計空間是由Facebook AI團隊提出的網路設計新正規化。如果把每一各網路結構看作某種空間上的一個點，那麼所有可能的網路所組成的點的集合就構成一個空間。按照一定設計規則和引數範圍所對映的子空間就構成一個網路設計空間。這種新正規化的設計目標是用通用性和普適性更高的規則尋找一個高效能，高泛化性的網路設計空間，即一個網路架構簇，而不再是尋找單一的網路。

文章中提出的Regnet就是用這種方法構建出的一套網路設計空間。使用這種設計方式的優勢在於，用網路設計空間的邏輯構建出的網路簇可以兼顧網路表現的整體一致性和網路尺度的多樣性，當晶片算力提升，希望增加網路模型的大小以最佳化演算法表現時，用設計空間的更大網路替換較小網路就能實現目的。因為網路空間的整體一致性使得設計空間中網路間的泛化性增強，網路架構的最佳化歷程可以由隨機性的搜尋變成系統性的演進。