新聞資訊
新聞資訊
聯系我們
手機:18051783950
電話:0512-69221005
郵箱:773537975@qq.com
地址:蘇州相城區元和街道嘉元路959號元和大廈4樓404C室
行業動態
三維重建技術概述——相關概念
- 作者:蘇州中飛
- 發布時間:2023-06-14
- 點擊:
基于視覺的三維重建,指的是通過攝像機獲取場景物體的數據圖像,并對此圖像進行分析處理,再結合計算機視覺知識推導出現實環境中物體的三維信息。
相關概念
(1)彩色圖像與深度圖像
彩色圖像也叫作RGB圖像,R、G、B三個分量對應于紅、綠、藍三個通道的顏色,它們的疊加組成了圖像像素的不同灰度級。RGB顏色空間是構成多彩現實世界的基礎。深度圖像又被稱為距離圖像,與灰度圖像中像素點存儲亮度值不同,其像素點存儲的是該點到相機的距離,即深度值。圖2-1表示深度圖像與灰度圖像之間的關系。
深度值指的目標物體與測量器材之間的距離。由于深度值的大小只與距離有關,而與環境、光線、方向等因素無關,所以深度圖像能夠真實準確的體現景物的幾何深度信息。通過建立物體的空間模型,能夠為深層次的計算機視覺應用提供更堅實的基礎。
(2)PCL
PCL(Point Cloud Library,點云庫)是由斯坦福大學的Dr.Radu等學者基于ROSRobot Operating System,機器人操作系統下開發與維護的開源項目,z初被用來輔助機器人傳感、認知和驅動等領域的開發。2011年PCL正式向公眾開放。隨著對三維點云算法的加入與擴充,PCL逐步發展為免費、開源、大規模、跨平臺的C++編程庫。
PCL框架包括很多先進的算法和典型的數據結構,如濾波、分割、配準、識別、追蹤、可視化、模型擬合、表面重建等諸多功能。能夠在各種操作系統和大部分嵌入式系統上運行,具有較強的軟件可移植性。鑒于PCL的應用范圍非常廣,專家學者們對點云庫的更新維護也非常及時。PCL的發展時至今日,已經來到了1.7.0版本。相較于早期的版本,加入了更多新鮮、實用、有趣的功能,為點云數據的利用提供了模塊化、標準化的解決方案。再通過諸如圖形處理器、共享存儲并行編程、統一計算設備架構等的高性能技術,提升PCL相關進程的速率,實現實時性的應用開發。
在算法方面,PCL是一套包括數據濾波、點云配準、表面生成、圖像分割和定位搜索等一系列處理點云數據的算法?;诓煌愋蛥^分每一套算法,以此把整合所有三維重建流水線功能,保證每套算法的緊湊性、可重用性與可執行性。例如PCL中實現管道運算的接口流程:
創建處理對象,例如濾波、特征估計、圖像分割等;通過setInputCloud輸入初始點云數據,進入處理模塊;設置算法相關參數;調用不同功能的函數實現運算,并輸出結果。為了實現模塊化的應用與開發,PCL被細分成多組立的代碼集合。因此便可方便快捷的應用于嵌入式系統中,實現可移植的單編譯。如下列舉了部分常用的算法模塊:
libpcl I/O:完成數據的輸入、輸出過程,如點云數據的讀寫;libpcl filters:完成數據采樣、特征提取、參數擬合等過程;libpcl register:完成深度圖像的配準過程,例如迭代z近點算法;libpcl surface:完成三維模型的表面生成過程,包括三角網格化、表面平滑等。此類常用的算法模塊均具有回歸測試功能,以確保使用過程中沒有引進錯誤。測試一般由專門的機構負責編寫用例庫。檢測到回歸錯誤時,會立即將消息反饋給相應的作者。因此能提升PCL和整個系統的安全穩定性。
(3)點云數據
如圖2-3所示,展示了典型的點云數據(Point Cloud Data,PCD)模型。
點云數據通常出現在逆向工程中,是由測距設備獲取的物體表面的信息集合。其掃描資料以點的形式進行記錄,這些點既可以是三維坐標,也可以是顏色或者光照強度等信息。通常所使用的點云數據一般包括點坐標精度、空間分辨率和表面法向量等內容。點云一般以PCD格式進行保存,這種格式的點云數據可操作性較強,同時能夠提高點云配準融合的速度。本文研究的點云數據為非結構化的散亂點云,屬于三維重建特有的點云特點。
(4)坐標系
在三維空間中,所有的點必須以坐標的形式來表示,并且可以在不同的坐標系之間進行轉換。首先介紹基本坐標系的概念、計算及相互關系。
1. 圖像坐標系
圖像坐標系分為像素和物理兩個坐標系種類。數字圖像的信息以矩陣形式存儲,即一副像素的圖像數據存儲在維矩陣中。圖像像素坐標系以為原點、以像素為基本單位,U、V分別為水平、垂直方向軸。圖像物理坐標系以攝像機光軸與圖像平面的交點作為原點、以米或毫米為基本單位,其X、Y軸分別與U、V軸平行。圖2-4展示的是兩種坐標系之間的位置關系:
令U-V坐標系下的坐標點u0,v0,與代表像素點在X軸與Y軸上的物理尺寸。那么圖像中的所有像素點在U-V坐標系與在X-Y坐標系下的坐標間有著如式(2-1)表示的關系:
其中指的是圖像坐標系的坐標軸傾斜相交而形成的傾斜因子(Skew Factor)。
2. 攝像機坐標系
攝像機坐標系由攝像機的光心及三條、、軸所構成。它的、軸對應平行于圖像物理坐標系中的、軸,軸為攝像機的光軸,并與由原點、、軸所組成的平面垂直。如圖2-5所示:
令攝像機的焦距是f,則圖像物理坐標系中的點與攝像機坐標系中的點的關系為:
3. 世界坐標系
考慮到攝像機位置具有不確定性,因此有必要采用世界坐標系來統一攝像機和物體的坐標關系。世界坐標系由原點及、、三條軸組成。世界坐標與攝像機坐標間有著(2-3)所表達的轉換關系:
其中,是旋轉矩陣,代表攝像機在世界坐標系下的指向;是平移向量,代表了攝像機的位置。
- 上一篇:三維重建技術概述——重建流程
- 下一篇:基于無人機傾斜攝影技術的三維建模