作者：Edison_G

近期國外BCI都在抵制我國新疆棉，這是一個(gè)不正確的舉措，中國現(xiàn)在農(nóng)業(yè)很多都是智能化，比如機(jī)器化采摘棉花，今天我們一起來分享其中的一些小知識(shí)。支持新疆棉，期待中國AI農(nóng)業(yè)智能發(fā)展！

前言

我們“計(jì)算機(jī)視覺研究院”一直支持中國發(fā)展及政策，我們都會(huì)支持新疆棉！

簡要

針對(duì)采棉機(jī)械手棉花識(shí)別定位難的問題，提出一種基于機(jī)器視覺的棉花識(shí)別與定位方法，搭建出雙目立體視覺系統(tǒng)，在此基礎(chǔ)上通過相機(jī)標(biāo)定、圖像采集、圖像處理、特征提取等過程，計(jì)算得出棉株的深度信息以及其成熟棉 花的三維信息，其深度平均誤差值為2.55ｍｍ，單位坐標(biāo)誤差均值為（2.8ｍｍ，-1.4ｍｍ，-1.35ｍｍ）。結(jié)果表明，基 于雙目立體視覺對(duì)棉株上的成熟棉花進(jìn)行三維空間上的識(shí)別定位是可行的。

背景

棉花是我國重要的工業(yè)基礎(chǔ)及戰(zhàn)略物資，也是廣大棉農(nóng) 脫貧致富的重要作物，在農(nóng)業(yè)生產(chǎn)中占有重要的經(jīng)濟(jì)地位。新疆由于具備獨(dú)特的光熱資源，已成為全國最大的商品棉生 產(chǎn)基地。新疆棉花總產(chǎn)量、國內(nèi)銷售量以及出口量連續(xù) 多年位居全國之首，已經(jīng)成為當(dāng)?shù)氐闹еa(chǎn)業(yè)。新疆與國 外的棉花種植模式差別較大，棉花品種不同，且國產(chǎn)采棉機(jī)的 采摘效率不太理想，而由于進(jìn)口采棉機(jī)價(jià)格成本太高、零配件 價(jià)格高、維修費(fèi)用高、服務(wù)不及時(shí)等因素的影響，農(nóng)民接受不 了，難以推廣，因此棉花采收一直是制約新疆棉花發(fā)展和 經(jīng)濟(jì)效益提高的重要因素之一。

根據(jù)目前情況，亟需研究出 機(jī)械化、智能化的棉花采摘機(jī)器人，新疆的棉花種植區(qū)域比較 集中，具有農(nóng)業(yè)機(jī)械化、智能化的發(fā)展優(yōu)勢，因此充分利用先 進(jìn)技術(shù)和裝備并結(jié)合人工采摘和機(jī)械化采摘的優(yōu)點(diǎn)，開發(fā)一 種新型的棉花收獲智能機(jī)已成為當(dāng)前的緊迫任務(wù)。其中視覺 系統(tǒng)主要解決的是棉花自動(dòng)識(shí)別與定位，也是機(jī)械化、智能化 棉花采摘機(jī)器人的關(guān)鍵難題。目前，在果蔬收獲機(jī)器人工作方面已有多國展開了研究， 美國學(xué)者 Schertz和Brown 于1968年首次提出使用機(jī)器人來 完成一些采摘作業(yè)的思想，Takahashi等依據(jù)蘋果在雙目立 體視覺系統(tǒng)中左右圖像對(duì)中的視差，利用三維空間分割將2幅圖像合成1幅中心圖像。Kondo等用4個(gè)光源以及3個(gè)攝像機(jī)組成了草莓采摘機(jī)器人，雖然國內(nèi)在農(nóng)業(yè)采摘機(jī) 器人領(lǐng)域開展研究比較晚，但發(fā)展速度快，目前已獲得很多研 究成果。劉兆祥等根據(jù)蘋果樹的反射光譜特性，利用激光的 反射差異和三角測量原理實(shí)現(xiàn)蘋果的識(shí)別與定位。劉坤 等為準(zhǔn)確識(shí)別自然環(huán)境中被遮擋的棉花，提出了使用隨機(jī)Hough變換來識(shí)別棉花的方法。趙杰文等選取HIS色彩 空間的H通道對(duì)田間的番茄采用閾值分割的方法進(jìn)行識(shí)別。徐惠榮等利用顏色信息差來進(jìn)行識(shí)別柑橘，同時(shí)在順 光、逆光的情況下進(jìn)行了柑橘的識(shí)別研究。在棉花圖像分 割方面，王勇等分析了棉田環(huán)境中不同對(duì)象在幾種常用色彩 空間下的顏色特征，提出了一種采用R-B色差模型的分割 策略。韋皆頂?shù)冗x取HSV色彩空間中的S通道對(duì)棉花進(jìn) 行閾值分割。本研究基于機(jī)械視覺對(duì)成熟棉花進(jìn)行識(shí)別 定位，以期為實(shí)現(xiàn)成熟棉花的機(jī)械手采摘提供參考。

雙目立體視覺

雙目立體視覺指的是仿照人類雙眼感知距離的方法，以 實(shí)現(xiàn)機(jī)械視覺對(duì)三維信息的感知，通常基于三角測量的方法， 利用2個(gè)或多個(gè)攝像頭對(duì)同一景物從不同位置形成圖像，從而通過視差恢復(fù)距離信息。雙目立體視覺模型一般可分為匯 聚式立體視覺模型和平行式立體視覺模型。由于平行式立體 視覺模型需要相機(jī)與其光軸絕對(duì)平行，而這在實(shí)驗(yàn)室條件下 很難實(shí)現(xiàn)，所以一般多采用匯聚式立體視覺模型進(jìn)行立體視 覺的運(yùn)用。在該模型下空間內(nèi)的任意一點(diǎn) Ｐ（Ｘ，Ｙ，Ｚ）過 Ｃ１、 Ｃ２ 攝像頭拍攝圖像的投影點(diǎn)像素坐標(biāo)分別為 Ｐ１（ｕ１，ｖ１）、 Ｐ２（ｕ２，ｖ２），假設(shè) Ｐ１、Ｐ２ 的坐標(biāo)點(diǎn)已知，則可以利用攝像頭的 內(nèi)部參數(shù)和外部參數(shù)反求出 Ｐ點(diǎn)的世界坐標(biāo)，即為 Ｐ＝ Ｍ１ －１ Ｐ１和 Ｐ＝Ｍ２ －１ Ｐ２。Ｍ１、Ｍ２ 的計(jì)算公式分別為：

式中：ａｘ１、ａｙ１、ａｘ２、ａｙ２分別為攝像頭 Ｃ１、Ｃ２ 在 ｘ軸和 ｙ軸上的 焦距；γ１、γ２ 分別為攝像頭 Ｃ１、Ｃ２ 的不垂直因子；（ｕｏ１，ｖｏ１）、 （ｕｏ２，ｖｏ２）分別為攝像頭 Ｃ１、Ｃ２ 光軸像素坐標(biāo)；Ｒ、Ｔ分別為旋 轉(zhuǎn)矩陣和平移矩陣。

相機(jī)標(biāo)定

相機(jī)標(biāo)定在于獲取精確的相機(jī)內(nèi)部參數(shù)（焦距、失真系數(shù)、不垂直因子）以及外部參數(shù)（旋轉(zhuǎn)矩陣、平移矩陣）。本次標(biāo)定試驗(yàn)采用Jean-YvesBouguet的Camera Calibration Toolbox-StandardVersion和StereoCameraCalibrationToolbox攝像機(jī)標(biāo)定工具箱進(jìn)行雙目攝像頭標(biāo)定，先用左右2個(gè)CCD攝像機(jī)從不同位置采集10對(duì)標(biāo)定板圖像；然后利用Camera CalibrationToolbox-Standard工具箱分別讀入左右CCD攝像機(jī)采集的標(biāo)定板圖像（上圖）；最后采用交互式的角點(diǎn)區(qū)域提取方法，利用Matlab軟件對(duì)標(biāo)定板圖像進(jìn)行自動(dòng)角點(diǎn)檢測，得到左/右攝像頭內(nèi)部參數(shù)，并通過Camera Calibration Toolbox-Standard工具箱得到校正后的左/右攝像頭外部參數(shù)（下表）。

基于PNCC的多值分割法對(duì)R-B灰度圖進(jìn)行分割試 驗(yàn)，圖像分割結(jié)果如下圖所示。通過大量的試驗(yàn)可以看出，采用基于PNCC的多值分割法，圖像分割的分割率≥91.68%， 并且有效保留了圖像的層次性。

成熟棉花目標(biāo)的特征點(diǎn)匹配

立體匹配即在左圖像和右圖像中分別找出真實(shí)世界中的某一點(diǎn)在2個(gè)攝像機(jī)成像平面上的匹配投影點(diǎn)。主要方法是依據(jù)目標(biāo)物體的顏色，幾何形狀等特征，從立體視覺系統(tǒng)左，右攝像機(jī)同時(shí)拍攝的一組圖像中通過某個(gè)特征從一副圖像的某點(diǎn)搜素另一幅圖像的匹配點(diǎn)。為了使匹配的過程達(dá)到一定的抗噪能力同時(shí)減少歧義性，提出了特征匹配。由于不受灰度的影響，所以抗干擾性較強(qiáng)，同時(shí)計(jì)算量小、速度快，滿足了相同的實(shí)時(shí)性。特征點(diǎn)的選取和匹配，是利用雙目立體視覺技術(shù)獲得目標(biāo)物體三維信息的關(guān)鍵。成熟棉花在攝像機(jī)成像的投影近似一個(gè)標(biāo)準(zhǔn)的圓形，所以其在二維圖像的形心基本是在攝像機(jī)平面上投影所形成的標(biāo)準(zhǔn)圓形的圓心，因此左右圖像上的圓心是一對(duì)最佳的匹配點(diǎn)，同時(shí)也是棉花采摘過程中理想的采摘點(diǎn)，因此可以直接提取并用于三維信息的計(jì)算。利用左，右攝像機(jī)采集圖像中成熟棉花投影圓心的提取結(jié)果如圖3所示。

成熟棉花定位

棉株深度信息

對(duì)分割好的圖像進(jìn)行進(jìn)行特征點(diǎn)匹配，等距的3組6幅圖像的特征點(diǎn)坐標(biāo)取均值，以減小偶然誤差，處理完成得到6組不同距離的成熟棉花特征點(diǎn)數(shù)據(jù)?，F(xiàn)取每個(gè)特征點(diǎn)的1對(duì)左右匹配點(diǎn)P1、P2數(shù)據(jù)，利用相機(jī)標(biāo)定得到的投影矩陣M1、M2，反求出特征點(diǎn)的世界坐標(biāo)(X，Y，Z)，Z即為棉株的深度信息。試驗(yàn)數(shù)據(jù)見下表，計(jì)算出來的深度誤差值平均為2.55毫米，可以滿足采棉機(jī)械手對(duì)不同棉株深度精確的要求。

同一棉株不同位置成熟棉花的定位識(shí)別

由于棉株上存在多個(gè)棉桃，因而采棉機(jī)械手須要知曉棉株上對(duì)應(yīng)成熟棉花的多個(gè)特征點(diǎn)的坐標(biāo)，其精準(zhǔn)度直接由機(jī)械視覺機(jī)構(gòu)給定的匹配點(diǎn)空間坐標(biāo)的誤差值決定。本研究對(duì)同一棉株不同位置的成熟棉花定位識(shí)別，任取一個(gè)等距的組，其特征點(diǎn)的計(jì)算坐標(biāo)與實(shí)際坐標(biāo)如下表示，得到其平均坐標(biāo)誤差值為(2.8mm，-1.4mm，-1.35mm)，表明滿足同一棉株不同位置的棉花識(shí)別定位的精確度要求。

? THE END

我們開創(chuàng)“計(jì)算機(jī)視覺協(xié)會(huì)”知識(shí)星球一年有余，也得到很多同學(xué)的認(rèn)可，我們定時(shí)會(huì)推送實(shí)踐型內(nèi)容與大家分享，在星球里的同學(xué)可以隨時(shí)提問，隨時(shí)提需求，我們都會(huì)及時(shí)給予回復(fù)及給出對(duì)應(yīng)的答復(fù)。

如果想加入我們“計(jì)算機(jī)視覺研究院”，請(qǐng)掃二維碼加入我們。我們會(huì)按照你的需求將你拉入對(duì)應(yīng)的學(xué)習(xí)群！
計(jì)算機(jī)視覺研究院主要涉及深度學(xué)習(xí)領(lǐng)域，主要致力于人臉檢測、人臉識(shí)別，多目標(biāo)檢測、目標(biāo)跟蹤、圖像分割等研究方向。研究院接下來會(huì)不斷分享最新的論文算法新框架，我們這次改革不同點(diǎn)就是，我們要著重”研究“。之后我們會(huì)針對(duì)相應(yīng)領(lǐng)域分享實(shí)踐過程，讓大家真正體會(huì)擺脫理論的真實(shí)場景，培養(yǎng)愛動(dòng)手編程愛動(dòng)腦思考的習(xí)慣！