Title：High-resolution real-time 360° 3D model reconstruction of a handheld object with fringe projection profilometry
期刊：Optics Letters
年份：2019
作者：JIAMING ? QIAN, 1,2,3 SHIJIE FENG, 1,2,3 TIANYANG TAO, 1,2,3 YAN HU, 1,2,3 KAI ?LIU, 1,2,3 SHUAIJIE WU, 1,2,3 QIAN CHEN, 1,2,4 AND CHAO ZUO1,2,3,*
單位：南京理工大學(xué)注：由于筆者翻譯水平有限，詳情請看原論文

作者：天涯居士 ?文章來源：微信公眾號「3D視覺工坊」

摘要
真實(shí)物體完整形狀的數(shù)字化在智能制造、工業(yè)檢測和反向建模等領(lǐng)域具有重要的應(yīng)用價值。為了構(gòu)建剛性對象的完整幾何模型，對象必須相對于測量系統(tǒng)（或掃描儀必須相對于對象移動），以獲取和集成對象的視圖，這不僅使系統(tǒng)配置復(fù)雜，而且使整個過程耗時。在這封信中，我們提出了一種高分辨率的實(shí)時360°三維(3D)模型重建方法，該方法允許人們手動旋轉(zhuǎn)一個物體，并在掃描過程中看到一個不斷更新的三維模型。多視圖條紋投影輪廓測量系統(tǒng)從不同的角度獲取一個手持物體的高精度深度信息，同時將多個視圖實(shí)時對齊并合并在一起。我們的系統(tǒng)采用了立體相位展開和自適應(yīng)深度約束，可以在不增加捕獲圖案的數(shù)量的情況下，穩(wěn)健地展開密集條紋圖像的相位。然后，我們開發(fā)了一種有效的從粗到細(xì)的配準(zhǔn)策略來快速匹配三維表面段。實(shí)驗(yàn)結(jié)果表明，該方法可以在任意旋轉(zhuǎn)條件下重建復(fù)雜物體的高精度完整三維模型，而無需任何儀器輔助和昂貴的預(yù)/后處理。
引言
光學(xué)非接觸式三維(3D)形狀測量技術(shù)已廣泛應(yīng)用于工業(yè)檢測、智能制造、逆向工程等許多方面的[1]。邊緣投影輪廓測量(FPP)[2,3]由于其高測量精度、簡單的硬件配置和實(shí)現(xiàn)的靈活性，是最流行的三維成像技術(shù)之一。到目前為止，大多數(shù)關(guān)于FPP的研究都集中在單一角度的三維測量上。然而，在工業(yè)檢查和反向建模等應(yīng)用中，獲取所有對象的三維模型是至關(guān)重要的。然而，傳統(tǒng)的FPP系統(tǒng)由于其視場有限，無法在單次測量中獲得目標(biāo)的完整三維模型，因此需要對從多個視圖測量的數(shù)據(jù)進(jìn)行配準(zhǔn)。為了從不同的視圖獲得和對齊物體的三維形狀，通常需要儀器輔助來執(zhí)行三維配準(zhǔn)[7–9]。常見的輔助儀器包括旋轉(zhuǎn)臺、機(jī)械臂和平面反射鏡。通過旋轉(zhuǎn)臺，通過旋轉(zhuǎn)臺軸的旋轉(zhuǎn)與成像系統(tǒng)[7]之間的關(guān)系，可以將多幀點(diǎn)云轉(zhuǎn)換為相同的坐標(biāo)系。但物體只能圍繞旋轉(zhuǎn)臺軸旋轉(zhuǎn)，難以獲取頂部、底部的三維數(shù)據(jù)。機(jī)械臂可以通過預(yù)置一個移動路徑[8]來從更多的角度獲取信息。然而，機(jī)械臂的成本很高，輔助系統(tǒng)需要復(fù)雜的硬件連接，因此實(shí)現(xiàn)此類系統(tǒng)是困難的。帶有兩個鏡子的測量系統(tǒng)可以在一個測量中重建一個全景三維表面，因?yàn)樗鼈兺瑫r從三個角度捕捉目標(biāo)[9]。然而，由于透視信息有限，這類系統(tǒng)仍然無法獲得全尺度的三維測量。由于昂貴的硬件設(shè)施、復(fù)雜的結(jié)構(gòu)或有限的視角信息，上述儀器輔助配準(zhǔn)方法并不是獲得360°3D模型的理想手段。理想的方法是在連續(xù)執(zhí)行實(shí)時三維配準(zhǔn)的同時，任意旋轉(zhuǎn)對象的三維數(shù)據(jù)。到目前為止，很少有人報道過這種方法，因?yàn)椋?）由于硬件技術(shù)和實(shí)時算法的限制，構(gòu)建基于FPP的動態(tài)對象實(shí)時，高精度3D測量系統(tǒng)是困難的[4,10]; ? ? 無輔助儀器的不間斷實(shí)時高精度三維配準(zhǔn)是一個非常具有挑戰(zhàn)性的[11]。2002年，魯辛克維茨等人[12]提出了一種基于結(jié)構(gòu)光測距儀和迭代最近點(diǎn)(ICP)算法的實(shí)時變體的實(shí)時三維模型采集方法。與以前的方法相比，它允許用戶手動旋轉(zhuǎn)一個對象，并看到一個不斷更新的模型，從而提供關(guān)于孔的存在和已被覆蓋的表面的即時反饋。然而，通過條紋邊界編碼策略獲得的點(diǎn)云相當(dāng)稀疏，使得三維數(shù)據(jù)積累過程的效率降低。此外，他們的配準(zhǔn)方法的精度較低，因?yàn)樗鼈兲^了傳統(tǒng)的儀器輔助粗配準(zhǔn)，直接進(jìn)行基于變異icp的精細(xì)配準(zhǔn)，而沒有得到良好的姿態(tài)估計。因此，要重建一個高精度的三維模型，就需要進(jìn)行耗時的后處理。在這封信中，我們首次在沒有任何儀器輔助的情況下，實(shí)現(xiàn)了對物體的360°三維模型的實(shí)時采集，總體精度高達(dá)100μm級。用我們的方法，我們可以手工任意旋轉(zhuǎn)物體。由于從單一角度獲取對象的三維數(shù)據(jù)，可以自動與前一幀的三維數(shù)據(jù)進(jìn)行實(shí)時配準(zhǔn)，并合并在一起，創(chuàng)建一個高精度的三維模型。

方法
為了實(shí)現(xiàn)實(shí)時的三維配準(zhǔn)，必須實(shí)時獲取每個視角的三維數(shù)據(jù)。FPP的兩種主流條紋分析方法分別是單鏡頭性質(zhì)的傅里葉變換輪廓測量[13,14]和相移輪廓測量(PSP)[15]，以較高的測量分辨率和精度而聞名。考慮到精度，我們選擇了后一種技術(shù)。由于運(yùn)動會導(dǎo)致幀間的相位誤差，并打破PSP的基本假設(shè)，因此應(yīng)該采用盡可能少的條紋圖案的PSP。因此，采用了三步移相法。通過三步移相模式，可以很容易地獲得物體的包裹相位。為了展開相位，傳統(tǒng)的方法是使用時間相位展開技術(shù)[16]。然而，需要大量的輔助條紋圖案，這增加了對運(yùn)動的靈敏度。在這封信中，我們使用立體相位展開(SPU)[17,18]方法來消除相位歧義，而不使用任何額外的輔助模式。

圖1：立體相位展開（SPU）原理圖SPU的工作原理如圖1所示。
對于相機(jī)1中的任意點(diǎn)oc1，它有N個可能的絕對相位，通過相機(jī)1和投影儀可以重建N個3D候選點(diǎn)。這些3D候選點(diǎn)可以投影到Camera2上得到N個2D候選點(diǎn)，其中必須有一個與oc1最相似的正確匹配點(diǎn)。然后進(jìn)行相位相似性檢查，找到匹配點(diǎn)，也可以解開oc1的包裹相位。然而，SPU不能穩(wěn)健地消除相位模糊，因?yàn)樵谠肼暫拖到y(tǒng)誤差的影響下，錯誤的候選點(diǎn)的相位可能比正確的點(diǎn)更接近oc1，而邊緣頻率越高，那么這種情況發(fā)生的可能性就越大。自適應(yīng)深度約束(ADC)[19]策略可以通過實(shí)時測量結(jié)果提供一個像素級的深度范圍，并在很大程度上排除了錯誤的3D候選對象。因此，我們使用ADC來提高SPU的穩(wěn)定性。接下來，我們將討論實(shí)時、高精度的三維配準(zhǔn)。有兩種：（1）直接進(jìn)行精細(xì)配準(zhǔn)，（2）在粗配準(zhǔn)后進(jìn)行精細(xì)配準(zhǔn)。第一類方法直接使用ICP算法[20]及其改進(jìn)的變體。然而，由于缺乏合適的初始姿態(tài)估計，ICP效果不佳。此外，ICP通常需要花費(fèi)更高的配準(zhǔn)精度，并且不適用于實(shí)時場景。然而，在沒有儀器輔助的情況下，執(zhí)行快速粗配準(zhǔn)并不簡單。在這篇論文中，我們改進(jìn)了同步定位和映射(SLAM)算法[21]，用于機(jī)器人的定位和地圖構(gòu)建，以執(zhí)行粗配準(zhǔn)。將兩個相鄰的3D幀定義為幀1和幀2，它們具有對應(yīng)的2D紋理映射I1和I2，和相機(jī)坐標(biāo)系下的3D數(shù)據(jù)：

圖2 檢測到的2D特征點(diǎn)（a）通過SIFT和歐氏距離匹配的點(diǎn)（b）通過我們的方法優(yōu)化后的點(diǎn)

圖3 ? 描述：（a）傳統(tǒng)PnP方法（b）我們問題的描述在快速進(jìn)行二維匹配點(diǎn)識別后，利用求解多視角(PnP)問題的方法，可以快速得到相鄰三維幀之間的變換矩陣，這是一種常用的從三維參考點(diǎn)間的n個對應(yīng)關(guān)系中估計攝像機(jī)姿態(tài)的技術(shù)。獲取相機(jī)姿態(tài)的常規(guī)PnP問題如圖3(a)所示，即當(dāng)物體保持靜止時相機(jī)移動，我們知道物體在世界坐標(biāo)系中的三維數(shù)據(jù)和相機(jī)移動到位置2時的像素坐標(biāo)。在本文中，PnP問題可以看作是如何求解成像系統(tǒng)靜止時運(yùn)動物體的變換矩陣，并知道物體移動前的三維數(shù)據(jù)和物體移動后的像素坐標(biāo)，如圖3(b)所示。我們采用EPnP方法[23]，這是一個PnP問題的非迭代解，由于其精度和效率的平衡來解決PnP問題，在視覺SLAM系統(tǒng)中被廣泛應(yīng)用。

圖5：實(shí)時3D配準(zhǔn)的流程實(shí)時三維配準(zhǔn)的整個過程如圖5所示。步驟1：利用SIFT算法找到二維匹配點(diǎn)，并利用相應(yīng)的三維數(shù)據(jù)對其進(jìn)行優(yōu)化；步驟2：采用EPnP方法得到變換矩陣；步驟3：粗配準(zhǔn)線程粗配準(zhǔn)點(diǎn)云，保留運(yùn)動在30到50之間的結(jié)果；步驟4：如果累積運(yùn)動達(dá)到閾值，在精細(xì)配準(zhǔn)線程中降采樣后執(zhí)行ICP算法，實(shí)現(xiàn)點(diǎn)云的精確配準(zhǔn)；步驟5：返回到步驟1，并重復(fù)上述過程。

實(shí)驗(yàn)
為了驗(yàn)證我們的算法的有效性，我們構(gòu)建了一個四相機(jī)3D成像系統(tǒng)，包括一個輕型4500Pro(100Hz速度)，三個用于SPU的acA640-750um相機(jī)（640×480分辨率）和一個用于彩色紋理的acA640-750uc相機(jī)。使用了48段PSP條紋。我們使用一臺HPZ230計算機(jī)(IntelXeonE3-1226v3CPU，NVIDIAQuadroK2200GPU)來開發(fā)我們基于OpenCV和PCL的算法。我們的軟件系統(tǒng)的接口是用Qt軟件開發(fā)的。該系統(tǒng)的成像速度為45Hz，單次掃描精度為45μm。

（a）的三角化結(jié)果在第一個實(shí)驗(yàn)中，我們?nèi)我庑D(zhuǎn)了David模型，實(shí)現(xiàn)了其360°建模。不同時間段的配準(zhǔn)結(jié)果和場景如圖6所示。單次粗配準(zhǔn)和細(xì)配準(zhǔn)的時間分別為0.4s和2s。整個模型的重建時間是70秒。圖7顯示了配準(zhǔn)后的結(jié)果，從中我們可以看到David模型的所有3D形狀都很好地對齊。實(shí)驗(yàn)結(jié)果表明，該方法可以實(shí)時獲得高質(zhì)量的360°手持物體三維模型。

圖8：David模型與陶瓷球配準(zhǔn)結(jié)果（a）,（b）：兩個視角的測量圖像（c），（d）相應(yīng)的配準(zhǔn)結(jié)果（e），（f）：球配準(zhǔn)的誤差分布在第二次實(shí)驗(yàn)中，測量了兩個半徑分別為25.3989和25.4038mm的陶瓷球，中心間距離為100.0532mm。由于球體沒有二維特征，所以它們可以借助David模型進(jìn)行注冊。測量結(jié)果如圖8所示。對兩個球體的測量結(jié)果進(jìn)行了球面擬合。它們的誤差分布如圖所示。8(e)和8(f)。整個重建球的半徑分別為25.3580和25.3543mm，偏差分別為40.9μm和49.5μm。測量到的中心-中心距離為99.9345mm，誤差為118.7μm。本實(shí)驗(yàn)表明，該方法重建的整個三維模型的總體精度可達(dá)到100μm水平。
結(jié)論
總之，據(jù)我們所知，我們首次提出了一種基于FPP的高分辨率實(shí)時360°三維模型重建技術(shù)。與以往傳統(tǒng)的復(fù)雜、耗時的三維模型采集系統(tǒng)相比，我們的設(shè)計允許用戶手動旋轉(zhuǎn)物體，并在被掃描物體時看到不斷更新的模型。最后，可以獲得一個精度高達(dá)100μm水平的完整的三維模型。這封信使低成本、高速、高精度、任意自動的3D配準(zhǔn)、快速反饋和易于使用的全方位三維實(shí)時建模成為可能。我們相信，這封信將為360°的工業(yè)檢測和快速逆向成型打開一扇新的大門，并具有廣闊的應(yīng)用前景。
參考文獻(xiàn)

1. ?J. Salvi, S. Fernandez, T. Pribanic, and X. Llado, Pattern Recogn. 43, ?2666 (2010).
2. J. Geng, Adv. Opt. Photon. 3, 128 (2011).
3. S. Zhang, ?Opt. Lasers Eng. 106, 119 (2018).
4. S. Zhang, Opt. Lasers Eng. 48, 149 ?(2010).
5. Z. Zhang, Opt. Lasers Eng. 50, 1097 (2012).
6. S. Feng, Q. ?Chen, G. Gu, T. Tao, L. Zhang, Y. Hu, W. Yin, and C. Zuo, Adv. Photonics ?1, 025001 (2019).
7. X. Liu, X. Peng, H. Chen, D. He, and B. Z. Gao, ?Opt. Lett. 37, 3126(2012).
8. M. Nie?ner, M. Zollh?fer, S. Izadi, and M. ?Stamminger, ACM Trans. Graph. 32, 169 (2013).
9. B. Chen and B. Pan, ?Measurement 132, 350 (2019).
10. J. Qian, T. Tao, S. Feng, Q. Chen, and ?C. Zuo, Opt. Express 27, 2713 (2019).
11. S. Kahn, U. Bockholt, A. ?Kuijper, and D. W. Fellner, Comput. Ind. 64, 1115 (2013).
12. S. ?Rusinkiewicz, O. Hall-Holt, and M. Levoy, ACM Trans. Graph. 21, 438 ?(2002).
13. X. Su and Q. Zhang, Opt. Lasers Eng. 48, 191 (2010).
14. L. ?Huang, Q. Kemao, B. Pan, and A. K. Asundi, Opt. Lasers Eng. 48, 141 ?(2010).
15. C. Zuo, S. Feng, L. Huang, T. Tao, W. Yin, and Q. Chen, Opt. ?Lasers Eng. 109, 23 (2018).
16. C. Zuo, L. Huang, M. Zhang, Q. Chen, and ?A. Asundi, Opt. Lasers Eng. 85, 84 (2016).
17. T. Weise, B. Leibe, and L. ?Van Gool, in IEEE Conference on ComputerVision and Pattern Recognition ?(IEEE, 2007), pp. 1–8.
18. T. Tao, Q. Chen, J. Da, S. Feng, Y. Hu, and C. ?Zuo, Opt. Express 24, 20253 (2016).
19. T. Tao, Q. Chen, S. Feng, J. ?Qian, Y. Hu, L. Huang, and C. Zuo, Opt. Express 26, 22440 (2018).
20. P. ?J. Besl and N. D. McKay, Proc. SPIE 1611, 586 (1992).
21. R. Mur-Artal, ?J. M. M. Montiel, and J. D. Tardos, IEEE Trans. Robot. 31, 1147 ?(2015).
22. D. G. Lowe, Int. J. Comput. Vis. 60, 91 (2004).
23. V. ?Lepetit, F. Moreno-Noguer, and P. Fua, Int. J. Comput. Vis. 81, 155 ?(2009).

更多干貨
歡迎加入【3D視覺工坊】交流群，方向涉及3D視覺、計算機(jī)視覺、深度學(xué)習(xí)、vSLAM、激光SLAM、立體視覺、自動駕駛、點(diǎn)云處理、三維重建、多視圖幾何、結(jié)構(gòu)光、多傳感器融合、VR/AR、學(xué)術(shù)交流、求職交流等。工坊致力于干貨輸出，為3D領(lǐng)域貢獻(xiàn)自己的力量！歡迎大家一起交流成長~
添加小助手微信：dddvision，備注學(xué)校/公司+姓名+研究方向即可加入工坊一起學(xué)習(xí)進(jìn)步。