作者：Pontmercy

來源：微信公眾號(hào)|3D涉及工坊(系投稿)

之前，我們介紹了什么是3D相機(jī)。但是對(duì)于初次接觸3D相機(jī)的同學(xué)，可能首先面臨的問題是如何處理3D相機(jī)得到的數(shù)據(jù)。3D相機(jī)的數(shù)據(jù)分為兩種方式：三維點(diǎn)云數(shù)據(jù)方式，二維數(shù)據(jù)方式。其中，三維數(shù)據(jù)保存的格式有csv,txt，ply，stl等。二維數(shù)據(jù)通常以二維圖像的形式存在，其中保存Z方向的二維圖像被稱為深度圖像。本篇主要介紹一下深度圖像的生成與處理。1.前言3D相機(jī)雖然也被稱為相機(jī)，也可以得到二維的深度圖像，但其實(shí)并不是由感光像元產(chǎn)生圖像。2D相機(jī)和3D相機(jī)由于都有一個(gè)“相機(jī)”的名字，通常讓不太了解的人產(chǎn)生困惑。我們用英文可能更容易理解。中文里的3D相機(jī)，在英文語境下其實(shí)常被稱為3D sensor，并沒有3D camera的說法，而2D相機(jī)，被稱為2D camera或者camera。

Wenglor 相機(jī)示意圖如上圖所示，一個(gè)典型的3D相機(jī)通常有一個(gè)2D相機(jī)和一個(gè)光源組成，光源的種類由其設(shè)計(jì)原理決定。3D相機(jī)的獲取方式有很多種：?jiǎn)文苛Ⅲw視覺，雙目立體視覺，三角測(cè)量法，結(jié)構(gòu)光，TOF等等。因此它可能是白光、激光、投影儀，振鏡等。3D相機(jī)獲取3D數(shù)據(jù)的方式有很多，但不論是哪種方法，3D相機(jī)都通過某種算法或者原理來得到一些位置的3D數(shù)據(jù)。對(duì)于一些3D方面的應(yīng)用，這些3D數(shù)據(jù)便是所需要處理的數(shù)據(jù)，例如，對(duì)于用于三維重建，點(diǎn)云數(shù)據(jù)本身便是要處理的對(duì)象。但是對(duì)于另一些方面的應(yīng)用，如工業(yè)檢測(cè)里面的平面度，高度等等，點(diǎn)云格式的數(shù)據(jù)并不是一個(gè)很好的方式。因此根據(jù)對(duì)后續(xù)的處理方式不同，3D相機(jī)得到的是3D數(shù)據(jù)保存方向有兩種：一種是直接保存3D數(shù)據(jù)格式，相機(jī)可以直接導(dǎo)出三維數(shù)據(jù)，常見的如：點(diǎn)云通用格式ply,STL，以及其他格式如CSV，txt等，這種情況下處理方式多為3D算法。支持這種保存方式的相機(jī)多用于3D重建， 地圖引導(dǎo)等方向。相機(jī)采集到3D數(shù)據(jù)，用戶用來處理和最終得到的也是3D數(shù)據(jù)。但是，有些時(shí)候，這些數(shù)據(jù)方式并不是我們需要的。在工業(yè)視覺檢測(cè)領(lǐng)域，這些數(shù)據(jù)有時(shí)候并不是很友好。這體現(xiàn)以下這些方面：常見的工業(yè)檢測(cè)如高度，缺陷等，并不需要三維數(shù)據(jù)，只需要高度數(shù)據(jù)。同時(shí)這些3D數(shù)據(jù)在傳輸和處理方面無法之前的圖像處理系統(tǒng)兼容。因此，另外一種方式是保存成深度圖像。工業(yè)相機(jī)多支持這種方式，它的好處在于：同時(shí)可以與之前的2D圖像處理相融合，無論是數(shù)據(jù)傳輸還是處理，都可以非常方便地利用現(xiàn)有的圖像處理算法和圖像處理：例如LabVIEW,HALCON ,OpenCV。工業(yè)相機(jī)的廠商通常提供一種乃至多種傳輸協(xié)議來支持應(yīng)用廣泛的圖像處理庫來獲取它們的深度圖像。2.3D相機(jī)與深度圖像2D相機(jī)的圖像簡(jiǎn)單點(diǎn)兒說是像元感光直接成像的，就大多數(shù)相機(jī)而言，成像過程可以用小孔成像過程來描述。但是，3D相機(jī)則大為不一樣。3D相機(jī)是先有三維的數(shù)據(jù)，而后生成的圖像。深度圖像不是由小孔成像和像元感光而產(chǎn)生的。而是通過某種方式計(jì)算生成的。前面我們已經(jīng)介紹過深度圖像的生成，現(xiàn)在我們簡(jiǎn)單回顧下：深度圖像的生成公式通常由廠商定義，但是并不是隨心所欲。為了保證后續(xù)的使用，例如紋理貼圖等，深度圖像和2D圖像通常具有位置一致性，換句話說，深度圖像上的像素點(diǎn)和紋理圖像中的像素點(diǎn)是一一對(duì)應(yīng)的，這個(gè)特點(diǎn)在紋理貼圖過程中非常重要。廠商的隨心所欲更多地體現(xiàn)在XY圖上。如果需要根據(jù)XY圖來還原出XY方向的數(shù)據(jù)，則需要提前知道公式或者相機(jī)廠商提供的API，而深度圖像則像紋理圖像一樣通過API直接獲取。

如上圖所示，深度圖像上的像素點(diǎn)與紋理圖上的像素點(diǎn)一一對(duì)應(yīng)，基本上所有廠商都會(huì)進(jìn)行保證這一點(diǎn)。當(dāng)然，如前面所說，在擁有3D數(shù)據(jù)之后，相機(jī)也可以不生成圖像，直接以點(diǎn)云格式保存，常見的有：csv,txt,ply,stl等。2D數(shù)據(jù)保存方式則為深度圖像，主打方向?yàn)?D重建，逆向工程的3D相機(jī)大多支持這些格式中的一種或者多種。3.深度圖像的處理深度圖像與其它灰度圖像的不同之處，在于深度圖像的灰度值代表著Z方向的深度信息,而不是被拍物體的表面紋理信息。深度圖像的處理方向?qū)嶋H上也可以分為兩種：一種是按照2D圖像處理的方式對(duì)圖像進(jìn)行，另一種則是將深度圖像還原成3D數(shù)據(jù)，之后再按照3D數(shù)據(jù)的方式進(jìn)行處理。這時(shí)，深度圖像其實(shí)只起到了一個(gè)存儲(chǔ)和傳輸數(shù)據(jù)內(nèi)容的作用。當(dāng)然這兩種方式并不是涇渭分明的。為了完成一個(gè)項(xiàng)目，在實(shí)際中我們可能兩種方式都會(huì)用到，例如先對(duì)深度圖像做一些預(yù)處理，提取出我們想要的部分，再對(duì)這一部分單獨(dú)生成點(diǎn)云，減小后續(xù)的工作量。這里為了介紹上的方便，我們依舊按照這兩個(gè)方向進(jìn)行介紹：3.1 2D處理方式
以kinect的深度圖像進(jìn)行孔洞補(bǔ)全來進(jìn)行介紹。實(shí)際上孔洞補(bǔ)全這種操作只在民用級(jí)別的深度相機(jī)上出現(xiàn)。Kinect相機(jī)以及類似的相機(jī)，容易受到太陽光甚至是日光燈的干擾，這時(shí)候它們的深度數(shù)據(jù)會(huì)在測(cè)量區(qū)域內(nèi)出現(xiàn)大量的孔洞，而在工業(yè)相機(jī)里，除非材料反光、太陽光干擾以及表面形狀導(dǎo)致的局部過曝等情況，否則很少出現(xiàn)大面積數(shù)據(jù)缺少的情況。

? ? ??修復(fù)前? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 修復(fù)后如上圖所示，左圖是Kinect采集得到的深度圖，圖像里有較大面積的缺失，這種缺失，這種缺失我們嘗試采用2D的圖像修復(fù)算法進(jìn)行修復(fù)，修復(fù)后的效果如右圖所示。3.2?3D處理方式工業(yè)3D相機(jī)采集到的數(shù)據(jù)在經(jīng)過圖像采集軟件得到圖像格式存儲(chǔ)的數(shù)據(jù)之后，有時(shí)候需要將其還原成點(diǎn)云格式進(jìn)行處理。廠商通常會(huì)提供這樣的API或者函數(shù)。

圖一：RGB圖像? ? ? ? ? ? ?圖二：點(diǎn)云顯示（偽彩顯示）

上圖左一為相機(jī)通過HALCON導(dǎo)出來的圖像，從它可以拆除深度圖像，根據(jù)廠商提供的公式我們可以還原出XY方向信息，這樣，我們就可以得到完整的3D信息，從而生成點(diǎn)云，如右圖二。這樣我們就可以利用點(diǎn)云處理的算法來處理數(shù)據(jù)。備注：作者也是我們「3D視覺從入門到精通」知識(shí)星球特邀嘉賓。