散文網(wǎng) » 生活 »日常 » 大象機(jī)器人發(fā)布第二代人工智能套裝，深度學(xué)習(xí)先進(jìn)機(jī)器視覺

大象機(jī)器人發(fā)布第二代人工智能套裝，深度學(xué)習(xí)先進(jìn)機(jī)器視覺

2023-02-03 15:34 作者:大象機(jī)器人 0人讀過 | 我要投稿

2023 年1月18日，工業(yè)和信息化部、教育部等十七部門印發(fā)《“機(jī)器人+”應(yīng)用行動(dòng)實(shí)施方案》（以下簡稱《方案》）。

《方案》提出，研制交互、教學(xué)、競賽等教育機(jī)器人產(chǎn)品及編程系統(tǒng)，分類建設(shè)機(jī)器人服務(wù)平臺。加大機(jī)器人教育引導(dǎo)，完善各級院校機(jī)器人教學(xué)內(nèi)容和實(shí)踐環(huán)境，針對教學(xué)、實(shí)訓(xùn)、競賽等場景開發(fā)更多功能和配套課程內(nèi)容。強(qiáng)化機(jī)器人工程相關(guān)專業(yè)建設(shè)，提升實(shí)驗(yàn)機(jī)器人產(chǎn)品及平臺水平，加強(qiáng)規(guī)范管理。推進(jìn)5G、人工智能、智能語音、機(jī)器視覺、大數(shù)據(jù)、數(shù)字孿生等技術(shù)與機(jī)器人技術(shù)融合應(yīng)用，積極培育機(jī)器人校園服務(wù)新模式和新形態(tài)，深化機(jī)器人在教學(xué)科研、技能培訓(xùn)、校園安全等場景應(yīng)用。

為響應(yīng)國家大力發(fā)展新工科的號召，為高職、本科等院校的機(jī)器人與人工智能相關(guān)專業(yè)的學(xué)習(xí)和教育提供全面、良好的條件，大象機(jī)器人推出了一套基于視覺識別+機(jī)械臂的整體解決方案-人工智能套裝 2023版，實(shí)現(xiàn)從識別到分揀的全自動(dòng)化作業(yè)，并期望最終攜手用戶一起打造產(chǎn)學(xué)研的閉環(huán)，形成高質(zhì)量的新工科人才培養(yǎng)體系，助力國家科技教育的向前發(fā)展！

在已部署數(shù)千套第一代人工智能套裝后，歷經(jīng)2年研發(fā)，人工智能套裝 2023版全新升級，

● 5大視覺識別算法

● 6種適配機(jī)械臂

● 7大硬件升級

● 8大機(jī)器人學(xué)習(xí)點(diǎn)！

并支持可視化軟件，是定位抓取、自動(dòng)分揀模塊為一體的入門級人工智能套裝。基于python平臺，可通過開發(fā)軟件實(shí)現(xiàn)機(jī)械臂的控制，簡單易學(xué)，能夠快速入門學(xué)習(xí)人工智能基礎(chǔ)知識，啟發(fā)創(chuàng)新思維，領(lǐng)悟開源創(chuàng)意文化。

本套裝擴(kuò)展性好，開放性高，可以被用于多種用途?？梢子?strong>高校實(shí)訓(xùn)平臺、機(jī)器人學(xué)科搭建、機(jī)器人實(shí)驗(yàn)室或個(gè)人學(xué)習(xí)與使用。

產(chǎn)品特點(diǎn)

01 五大視覺識別算法

機(jī)器視覺是用機(jī)器來代替人眼進(jìn)行目標(biāo)對象識別、判斷和測量的技術(shù)。機(jī)器視覺通過計(jì)算機(jī)模擬人的視覺功能，主要技術(shù)涉及目標(biāo)圖像獲取技術(shù)、圖像信息處理技術(shù)、目標(biāo)對象測量與識別技術(shù)。典型機(jī)器視覺系統(tǒng)主要由視覺感知單元、圖像信息處理與識別單元、處理結(jié)果顯示單元和視覺系統(tǒng)控制單元組成。

1、顏色識別

顏色識別能力可以對輸入圖片的顏色信息進(jìn)行分析，輸出顏色值（RGB形式和HEX格式）與對應(yīng)的占比信息。

人工智能套裝 2023版使用eye-to-hand的模式，使用攝像頭，通過OpenCV進(jìn)行顏色定位，并將符合情況的顏色物塊框出，通過相關(guān)點(diǎn)位計(jì)算出物塊相對于機(jī)械臂的空間坐標(biāo)位置。為機(jī)械臂設(shè)置一套相關(guān)動(dòng)作，根據(jù)識別的物塊顏色不同放置不同的物料框中。

2、形狀識別

物體的形狀識別是模式識別的重要方向，在計(jì)算機(jī)中物體的形狀有多種表示方式，基于不同的形狀表示方式，提出了多種形狀識別方法，如基于傅里葉描述子、主分量分析、不變性距等方法。在形狀識別中，識別所基于的模式特征非常重要。

形狀識別的一般流程：形狀提取、形狀特征提取和分類識別。

3、特征點(diǎn)識別

FAST角點(diǎn)檢測，通過考察像素點(diǎn)與周圍領(lǐng)域內(nèi)的16個(gè)像素點(diǎn)的差異來確定特征點(diǎn)，并且通過分割測試算法對檢測效率做了極大的提升。

圖像特征點(diǎn)帶你學(xué)習(xí)圖像分割、保存圖片特征。

4、yolov5識別

傳統(tǒng)的目標(biāo)檢測系統(tǒng)利用分類器來執(zhí)行檢測。為了檢測對象，這些系統(tǒng)在測試圖片的不同位置不同尺寸大小采用分類器對其進(jìn)行評估。如目標(biāo)檢測系統(tǒng)采用deformable parts models (DPM)方法，通過滑動(dòng)框方法提出目標(biāo)區(qū)域，然后采用分類器來實(shí)現(xiàn)識別。近期的R-CNN類方法采用region proposal methods，首先生成潛在的bounding boxes，然后采用分類器識別這些bounding boxes區(qū)域。最后通過post-processing來去除重復(fù)bounding boxes來進(jìn)行優(yōu)化。這類方法流程復(fù)雜，存在速度慢和訓(xùn)練困難的問題。

我們將目標(biāo)檢測問題轉(zhuǎn)換為直接從圖像中提取bounding boxes和類別概率的單個(gè)回歸問題，只需一眼（you only look once，YOLO）即可檢測目標(biāo)類別和位置。

5、AR二維碼識別

在特征提取模塊中，我們使用紋理特征提取算法從原始輸入圖像中提取出多分辨率直方圖特征、局部二值模式特征和邊緣方向直方圖特征，這三種紋理特征的表達(dá)形式均為一維數(shù)組。我們將這 3 個(gè)數(shù)組連接為 1 個(gè)一維數(shù)組，作為后續(xù)分類模塊的輸入。

四種ID二維碼識別學(xué)習(xí)二維和三維世界之間的投影關(guān)系。

02、高精度相機(jī)

提供完整的視覺硬件設(shè)備，相機(jī)能夠?qū)崟r(shí)的“看到”工件所處的位置以及姿態(tài)，自動(dòng)判斷得到下一個(gè)抓取的工件信息。機(jī)械臂系統(tǒng)根據(jù)相機(jī)的分析結(jié)果，自動(dòng)規(guī)劃路徑并同時(shí)避開障礙物實(shí)現(xiàn)對工件的抓取。

支持相機(jī)光源調(diào)整，對反光、暗色等金屬件，緊密貼合或隨意擺放物件均可有效識別相機(jī)點(diǎn)云成像細(xì)膩，抓取精度高，引導(dǎo)精準(zhǔn)，高效準(zhǔn)確的完成引導(dǎo)操作，抓取精度可到0.5mm。

03、六種適配機(jī)械臂

適配6種桌面級小型機(jī)械臂-M5Stack和樹莓派版本，采用高度集成的伺服單元，在融合機(jī)械臂的基礎(chǔ)原理的同時(shí)，精簡結(jié)構(gòu)設(shè)計(jì)，方便進(jìn)行課程教學(xué)。

（M5版本和樹莓派版本）

04、可視化軟件

支持可視化軟件操作，可以選擇對應(yīng)視覺算法，全自動(dòng)識別抓取放置，方便觀看效果展示，并且支持分步運(yùn)行，可以只識別、只抓取、只放置，讓用戶理解每一過程原理。同時(shí)，可以通過圖形化的方式，實(shí)時(shí)顯示坐標(biāo)信息，物體定位坐標(biāo)與機(jī)械臂實(shí)時(shí)坐標(biāo)；顯示物體識別信息，比如形狀識別三角形，會(huì)顯示形狀為三角形。

總而言之，幫助用戶實(shí)現(xiàn)所有可監(jiān)測信息的圖形化顯示，用戶也可以在軟件控制界面下，修改XY坐標(biāo)，完成精準(zhǔn)抓取。

05、開源軟件系統(tǒng)ROS

軟件系統(tǒng)基于開源機(jī)器人操作系統(tǒng)ROS進(jìn)行架構(gòu)設(shè)計(jì)，方便利用各種人工智能開源資源，開發(fā)如視覺抓取、3D感知場景規(guī)劃等智能化應(yīng)用。

機(jī)械臂視覺抓取過程

01、手眼標(biāo)定

手眼標(biāo)定即相機(jī)內(nèi)參和外參的標(biāo)定，用于矯正圖像和后續(xù)數(shù)據(jù)推算。內(nèi)參即與相機(jī)安裝位置無關(guān)的本身硬件參數(shù)（如焦距、像素大小等），內(nèi)參標(biāo)定功能包為 camera-calibration ；外參即相機(jī)在世界坐標(biāo)系中的參數(shù)（如相機(jī)的位置、旋轉(zhuǎn)方向等），外參標(biāo)定的功能包easy_handeye 。

02、實(shí)現(xiàn)物體識別與定位

視覺抓取的第一步自然是對于目標(biāo)物體的識別和定位，目前可以借助開源視覺庫Opencv的內(nèi)置庫以及ROS開源包進(jìn)行實(shí)現(xiàn)。不論是通過二維圖像的深度信息或是物體的顏色形狀還是三維點(diǎn)云的識別分析，相機(jī)需要傳回目標(biāo)物體在世界坐標(biāo)系中的位置和姿態(tài)。

對于物體的識別分析，后續(xù)可以進(jìn)一步采用機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)的方法。

03、計(jì)算位置坐標(biāo)

計(jì)算位置坐標(biāo)，需要根據(jù)上一步相機(jī)返回物體的像素中心點(diǎn)坐標(biāo)，再根據(jù)抓取區(qū)域中心點(diǎn)相對于機(jī)械臂坐標(biāo)和可識別物體相對與機(jī)械臂的坐標(biāo)，以及兩個(gè)aruco二維碼的相關(guān)距離數(shù)值，推算出機(jī)械臂抓抓取物體的坐標(biāo)。

4.運(yùn)動(dòng)規(guī)劃

機(jī)械臂的運(yùn)動(dòng)規(guī)劃（這里包括路徑規(guī)劃）屬于上層算法內(nèi)容，是機(jī)械臂算法的研究重點(diǎn)。

插件Movelt!為我們提供了一個(gè)易于使用的集成化開發(fā)平臺。它由一系列移動(dòng)操作的功能包組成，包括運(yùn)動(dòng)規(guī)劃、操作控制、3D感知、運(yùn)動(dòng)學(xué)、動(dòng)力學(xué)、控制與導(dǎo)航算法等。我們可以通過 Moveit! 提供的的編程接口來進(jìn)行機(jī)械臂的運(yùn)動(dòng)規(guī)劃控制，根據(jù)第三步中的目標(biāo)姿態(tài)，得到一個(gè)可達(dá)路徑。

完整配套

針對實(shí)驗(yàn)教學(xué)和實(shí)踐教學(xué)，完整配套系列教材、實(shí)訓(xùn)指導(dǎo)書等，輕松開展教與學(xué)活動(dòng)。