機器人研究的核心就是：導航定位、路徑規劃、避障、多感測器融合。定位技術有幾種，不關心，只關心視覺的。視覺技術用到“眼睛”可以分為：單目，雙目，多目、RGB-D，後三種可以使影象有深度，這些眼睛亦可稱為VO（視覺里程計：單目or立體），維基百科給出的介紹：在機器人和計算機視覺問題中，視覺里程計就是一個透過分析處理相關影象序列來確定機器人的位置和姿態。
當今，由於數字影象處理和計算機視覺技術的迅速發展，越來越多的研究者採用攝像機作為全自主用移動機器人的感知感測器。這主要是因為原來的超聲或紅外感測器感知資訊量有限，魯棒性差，而視覺系統則可以彌補這些缺點。而現實世界是三維的，而投射於攝像鏡頭（CCD/CMOS）上的影象則是二維的，視覺處理的最終目的就是要從感知到的二維影象中提取有關的三維世界資訊。
系統基本組成：
CCD、PCI、PC及其外設等。
CCD/CMOS
一行矽成像元素，在一個襯底上配置光敏元件和電荷轉移器件，透過電荷的依次轉移，將多個
象素
的影片訊號分時、順序地取出來，如面陣CCD感測器採集的影象的解析度可以從32×32到1024×1024畫素等。
影片數字訊號處理器
影象訊號一般是二維訊號，一幅影象通常由512×512個畫素組成（當然有時也有256×256，或者1024×1024個畫素），每個畫素有256級灰度，或者是3×8bit，
紅黃蘭
16M種顏色，一幅影象就有256KB或者768KB（對於彩色）個數據。為了完成視覺處理的感測、預處理、分割、描述、識別和解釋，
上述前幾項主要完成的數學運算可歸納為：
（1）點處理常用於對比度增強、密度非線性
較正
、閾值處理、偽彩色處理等。每個畫素的輸入資料經過一定關係對映成畫素的輸出資料，例如對數變換可實現暗區對比度擴張。
（2）二維卷積的運算常用於影象平滑、尖銳化、輪廓增強、空間濾波、標準模板匹配計算等。若用M×M卷積核矩陣對整幅影象進行卷積時，要得到每個畫素的輸出結果就需要作M2次乘法和（M2-1）次加法，由於影象畫素一般很多，即使用較小的卷積和，也需要進行大量的乘加運算和訪問儲存器。
（3）二維正交變換常用二維正交變換有FFT、Walsh、Haar和K-L變換等，常用於影象增強、復原、二維濾波、資料壓縮等。
（4）座標變換常用於影象的放大縮小、旋轉、移動、配準、幾何校正和由攝影值重建影象等。
（5）統計量計算如計算密度直方圖分佈、平均值和協方差矩陣等。在進行直方圖均衡器化、面積計算、分類和K-L變換時，常常要進行這些統計量計算。
視覺導航定位系統的工作原理
簡單說來就是對機器人周邊的環境進行光學處理，先用攝像頭進行影象資訊採集，將採集的資訊進行壓縮，然後將它反饋到一個由神經網路和統計學方法構成的學習子系統，再由學習子系統將採集到的影象資訊和機器人的實際位置聯絡起來，完成機器人的自主導航定位功能。
1）攝像頭標定演算法：2D-3D對映求參。
傳統攝像機標定主要有 Faugeras 標定法、Tscai 兩步法、直接線性變換方法、張正友平面標定法和 Weng迭代法。自標定包括基於 Kruppa 方程自標定法、分層逐步自標定法、基於絕對二次曲面的自標定法和 Pollefeys 的模約束法。視覺標定有馬頌德的三正交平移法、李華的平面正交標定法和 Hartley 旋轉求內參數標定法。
2）機器視覺與影象處理：
a。預處理：灰化、降噪、濾波、二值化、邊緣檢測。。。
b。特徵提取：特徵空間到引數空間對映。演算法有HOUGH、SIFT、SURF。
c。影象分割：RGB-HIS。
d。影象描述識別
3）定位演算法：基於濾波器的定位演算法主要有KF、SEIF、PF、EKF、UKF等。
也可以使用單目視覺和里程計融合的方法。以里程計讀數作為輔助資訊，利用三角法計算特徵點在當前機器人座標系中的座標位置，這裡的三維座標計算需要在延遲一個時間步的基礎上進行。根據特徵點在當前攝像頭座標系中的三維座標以及它在地圖中的世界座標，來估計攝像頭在世界座標系中的位姿。這種降低了感測器成本，消除了里程計的累積誤差，使得定位的結果更加精確。此外，相對於立體視覺中攝像機間的標定，這種方法只需對攝像機內參數進行標定，提高了系統的效率。
定位演算法基本過程：
簡單的演算法過程，可基於OpenCV進行簡單實現。
輸入
透過攝像頭獲取的影片流（主要為灰度影象，stereo VO中影象既可以是彩色的，也可以是灰度的 ），記錄攝像頭在t和t+1時刻獲得的影象為It和It+1，相機的內參，透過相機標定獲得，可以透過matlab或者opencv計算為固定量。
輸出
計算每一幀相機的位置+姿態
基本過程
● 獲得影象It，It+1
● 對獲得影象進行畸變處理
● 透過FAST演算法對影象It進行特徵檢測，透過KLT演算法跟蹤這些特徵到影象It+1中，如果跟蹤特徵有所丟失，特徵數小於某個閾值，則重新進行特徵檢測
● 透過帶RANSAC的5點演算法來估計兩幅影象的本質矩陣
● 透過計算的本質矩陣進行估計R，t
● 對尺度資訊進行估計，最終確定旋轉矩陣和平移向量
關注我，每天更新！
