什么是三維重建

三維重建技術通過深度數據獲取、預處理、點云配準與融合、生成表面等過程，把真實場景刻畫成符合計算機邏輯表達的數學模型。這種模型可以對如文物保護、游戲開發、建筑設計、臨床醫學等研究起到輔助的作用。

一、三維重建研究背景

人類通過雙眼來探索與發現世界。人類接收外部信息的方式中，有不到三成來自于聽覺、觸覺、嗅覺等感受器官，而超過七成、z豐富、z復雜的信息則通過視覺進行感知的。計算機視覺便是一種探索給計算機裝備眼睛（攝像頭）與大腦（算法）的技術，以使計算機能夠自主立的控制行為、解決問題，同時感知、理解、分析外部環境。

20世紀60年代，計算機視覺得到了z初的發展。該階段的研究重心主要體現在如何從二維圖像中恢復出如立方體、圓柱體等立體化的三維形狀，解釋各個物體的空間位置關系。1982年，David Marr從信息處理的角度對數學、神經生理學、計算機圖形學等學科的研究成果進行了歸納總結，并在此基礎上提出了一系列計算機視覺理論。得益于這個完整明確的理論體系，計算機視覺得到了蓬勃的發展。它的核心思想是從二維圖像恢復三維結構。圖1-1展示的是經典Marr視覺信息處理過程。

隨著科學技術的日新月異，計算機視覺的應用日益受到各行業的關注和重視，如設備檢測與監視、醫學圖像處理、文物保護、機器人視覺、自動導航、工業產品外觀設計與生產等領域。計算機視覺技術為人們帶來了機遇，也帶來了挑戰。

三維重建作為計算機視覺技術中z為z為熱門的研究方向之一，涉及到包括圖像處理、立體視覺、模式識別等多個學科體系。利用計算機建立表達現實客觀景物的三維模型，并以此來滿足生產和生活的需要。隨著工業化進程的不斷發展，多種技術的實現均有賴于目標物體三維信息的獲取。三維重建現已被廣發的應用于生活和科研工作中，特別是在醫學治療、文物保護、游戲開發、工業設計、航天航海等方面，展現出了強的生命力和影響力。

二、三維重建技術簡介

三維重建技術的重點在于如何獲取目標場景或物體的深度信息。在景物深度信息已知的條件下，只需要經過點云數據的配準及融合，即可實現景物的三維重建?；谌S重建模型的深層次應用研究也可以隨即展開。人們按照被動式測量與主動式測量對目標物體深度信息的獲取方法進行了分類，下面對這兩種方式進行相應的介紹。

2.1 被動式三維重建技術

被動式一般利用周圍環境如自然光的反射，使用相機獲取圖像，然后通過特定算法計算得到物體的立體空間信息。主要有以下三種方法：

1.紋理恢復形狀法

各種物體表面具有不同的紋理信息，這種信息由紋理元組成，根據紋理元可以確定表面方向，從而恢復出相應的三維表面。這種方法稱為紋理恢復形狀法Shape From Texture，SFT。

紋理法的基本理論為：作為圖像視野中不斷重復的視覺基元，紋理元覆蓋在各個位置和方向上。當某個布滿紋理元的物體被投射在平面上時，其相應的紋理元也會發生彎折與變化。例如透視收縮變形使與圖像平面夾角越小的紋理元越長，投影變形會使離圖像平面越近的紋理元越大。通過對圖像的測量來獲取變形，進而根據變形后的紋理元，逆向計算出深度數據。SFT對物體表面紋理信息的要求嚴苛，需要了解成像投影中紋理元的畸變信息，應用范圍較窄，只適合紋理特性確定等某些特殊情形。所有在實際使用中較為少見。

2.陰影恢復形狀法

SFS Shape From Shading，從陰影恢復形狀法也是一種較為常用的方法?？紤]到圖像的陰影邊界包含了圖像的輪廓特征信息，因此能夠利用不同光照條件下的圖像的明暗程度與陰影來計算物體表面的深度信息，并以反射光照模型進行三維重建。需要注意的是，像素點的亮度受到包括光源指標、攝像機參數、目標表面材質等的制約。

陰影恢復形狀法的應用范圍比較廣泛，可以恢復除鏡面外的各種物體的三維模型。缺點體現在過程多為數學計算、重建結果不夠精細，另外不能忽視的是，SFS法需要準確的光源參數，包括位置與方向信息。這就導致其無法應用于諸如露天場景等具有復雜光線的情形中。

3.立體視覺法

立體視覺法（Multi-View Stereo，MVS是另外一種常用的三維重建方法。主要包括直接利用測距器獲取程距信息、通過一幅圖像推測三維信息和利用不同視點上的兩幅或多幅圖像恢復三維信息等三種方式。通過模擬人類視覺系統，基于視差原理獲取圖像對應點之間的位置偏差，恢復出三維信息。S.T.Barnard等人對20世紀70年代到80年代之間出現的三維重建的算法和評價體系做了概述。到了80年代中后期，出現了更多、更深層次的視覺原理，包括立體測量方法和深度傳感器等，大的促進了相關學科的發展。新興方法可以直接獲取景物的三維信息，大的節省了物力與人力成本。U.R.Dhond等人提出了基于層次處理的三目立體約束方法。二十世紀90年代末，涌現出諸如圖像匹配的前沿算法、遮擋處理算法等。

M.Z.Brown等人總結了2000年到2010年間的三維視覺發展的總體概況，包括遮擋、配準和效率等的相關分析。

雙目立體視覺重建，在實際應用情況優于其他基于視覺的三維重建方法，也逐漸出現在一部分商業化產品上 不足的是運算量仍然偏大，而且在基線距離較大的情況下重建效果明顯降低 。

作為計算機視覺的關鍵技術之一，立體視覺法也其弊端。例如，立體視覺需要假設空間的平面是正平面，而實際情況卻與此相差甚遠。除此之外，匹配還存在歧義性：對于一幅圖像上的某些特征點，另外的圖像可能存在若干個與之相似的特征點。那么如何選取z適配的匹配點，顯得較為棘手。如圖1-2所示，展示了Middlebury數據集中Teddy和Cones場景的基準彩色圖像、標準視差以及通過Graph Cuts算法獲取的立體匹配視差估計結果。雖然視差結果體現出了景物的三維位置關系，但是某些像素點的視差與標準值仍有細微的差距。除此之外，對于如相機運動參數的確定、大型場景重建需要獲取多幀圖像等問題，也大的影響了立體視覺的深層次應用。

2.2 主動式三維重建技術

主動式是指利用如激光、聲波、電磁波等光源或能量源發射至目標物體，通過接收返回的光波來獲取物體的深度信息。主動測距有莫爾條紋法、飛行時間法、結構光法和三角測距法等四種方法。

1.莫爾條紋法

莫爾條紋在生活中比較常見，如兩層薄薄的絲綢重疊在一起，即可以看到不規則的莫爾Morie條紋；微風的吹動窗紗時，條紋亦隨之運動。莫爾條紋法起源于18世紀的法國，是一項古老又現代的測量方法?；驹硎菍蓧K等間隔排列的直線簇或曲線簇圖案重疊起來，以非常小的角度進行相對運動來形成莫爾條紋。如圖1-3所示，在主光柵與指示光柵的交叉重合處，因光線的透射與遮擋而產生不同的明暗帶，即莫爾條紋。莫爾條紋隨著光柵的左右平移而發生垂直位移，此時產生的條紋相位信息體現了待測物體表面的深度信息，再通過逆向的解調函數，實現深度信息的恢復。這種方法具有精度高、實時性強的優點，但是其對光照較為敏感，抗干擾能力弱。

提出：WIKTIN recovering surface shape and orientation from texture 1987

發展：Warren 2010 對 wiktin 方法進行改進使用了透視投影；

Liboy 2006 給出了在紋理單元結構發生改變的情況下的重建方法。

優點：精度高，對光照和噪聲不敏感。

缺點：只應用于具有規則紋理的物體。

2.飛行時間法

飛行時間法 Time of Flight，ToF指的是在光速及聲速一定的前提下，通過測量發射信號與接收信號的飛行時間間隔來獲得距離的方法。這種信號可以是超聲波，也可以是紅外線等。飛行時間法相較于立體視覺法而言，具有不受基線長度限制、與紋理無關、成像速度快等特點。但是其也有一定的缺點。首先，ToF相機的分辨率非常低。例如圖1-4所示，當今分辨率z高的PMD Camcube 2.0 相機，也僅為204×204像素；其次，ToF相機容易受到環境因素的影響，如混合像素、外界光源等，導致景物深度不準確；z后，系統誤差與隨機誤差對測量結果的影響很大，需要進行后期數據處理，主要體現在場景像素點的位置重合上。值得注意的是，ToF相機的售價達到了數萬美元，受眾較窄。

3.結構光法

結構光法Structured Light通過向表面光滑無特征的物體發射具有特征點的光線，依據光源中的立體信息輔助提取物體的深度信息。具體的過程包括兩個步驟，首先利用激光投影儀向目標物體投射可編碼的光束，生成特征點；然后根據投射模式與投射光的幾何圖案，通過三角測量原理計算攝像機光心與特征點之間的距離，由此便可獲取生成特征點的深度信息，實現模型重建。這種可編碼的光束就是結構光，包括各種特定樣式的點、線、面等圖案。結構光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。因為實現簡單且精度較高，所以結構光法的應用非常廣泛，目前已有多家公司生產了以結構光技術為基礎的硬件設備，如PrimeSense公司的Prime Sensor、微軟公司的Kinect和華碩公司的Xtion PRO LIVE等產品。圖1-5展示了利用結構光技術采集文物三維信息的場景。

提出：Woodham 對 SFS 進行改進（1980 年）：photometric method for determining surface orientation from multiple images

發展：

Noakes ：非線性與噪聲減除 2003 年；Horocitz ：梯度場合控制點 2004 年；Tang ： 可信度傳遞與馬爾科夫隨機場 2005 年；Basri ： 光源條件未知情況下的三維重建 2007 年；Sun ：非朗伯特 2007 年；Hernandez ： 彩色光線進行重建方法 2007 年；Shi ： 自標定的光度立體視覺法 2010 年。

4.三角測距法

三角測距法是一種非接觸式的測距方法，以三角測量原理為基礎。紅外設備以一定的角度向物體投射紅外線，光遇到物體后發生反射并被CCD（Charge-coupled Device，電荷耦合元件）圖像傳感器所檢測。隨著目標物體的移動，此時獲取的反射光線也會產生相應的偏移值。根據發射角度、偏移距離、中心矩值和位置關系，便能計算出發射器到物體之間的距離。三角測距法在軍工測量、地形勘探等領域中應用廣泛。