本發(fā)明屬于機(jī)器視覺圖像測量與自動(dòng)控制技術(shù)領(lǐng)域，特別涉及一種移動(dòng)視覺機(jī)器人及其測控方法。

背景技術(shù)：

隨著機(jī)器人性能不斷地完善，移動(dòng)機(jī)器人的應(yīng)用范圍隨之?dāng)U展，不僅在工業(yè)、農(nóng)業(yè)、醫(yī)療、服務(wù)等行業(yè)中得到廣泛的應(yīng)用，而且在城市安全、國防和空間探測領(lǐng)域等有害與危險(xiǎn)場合得到很好的應(yīng)用。因此，移動(dòng)機(jī)器人技術(shù)已經(jīng)得到世界各國的普遍關(guān)注。移動(dòng)機(jī)器人在代替人工勞動(dòng)以及在危險(xiǎn)環(huán)境中工作都起到了很好的效果，因此一款高效，安全，可靠的移動(dòng)機(jī)器人對于自動(dòng)化工業(yè)生產(chǎn)十分重要。而現(xiàn)有移動(dòng)機(jī)器人的引導(dǎo)方式又有很大的局限性，GPS引導(dǎo)誤差很大，無法進(jìn)行精確的移動(dòng)和操作，而常見的電磁感應(yīng)式或類似的引導(dǎo)又對工作環(huán)境要求很高，并且移動(dòng)路徑幾乎完全固定。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種移動(dòng)視覺機(jī)器人及其測控方法，移動(dòng)機(jī)器人通過視覺圖像方法進(jìn)行引導(dǎo)，使移動(dòng)機(jī)器人實(shí)現(xiàn)靈活準(zhǔn)確的移動(dòng)方式，并且為了進(jìn)一步提高機(jī)器人精度，采取全局圖像和局部細(xì)節(jié)圖像兩套圖像互補(bǔ)的方法，同時(shí)利用視覺信息消除累積誤差。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

一種移動(dòng)視覺機(jī)器人，包括一個(gè)四輪全方位的移動(dòng)平臺1，移動(dòng)平臺1上固定一個(gè)可旋轉(zhuǎn)并執(zhí)行多種動(dòng)作的機(jī)械手2，在移動(dòng)平臺1上用支架3固定有一臺相機(jī)一4，可拍攝機(jī)器人正前方移動(dòng)路徑以及周圍環(huán)境的全局圖像，此外，在機(jī)械手2末端固定有一臺相機(jī)二5，可根據(jù)實(shí)際情況調(diào)整機(jī)械手2位置及角度從而拍攝特定對象的細(xì)節(jié)圖像，機(jī)器人移動(dòng)平臺1內(nèi)部安裝一臺工控機(jī)6，用于接收動(dòng)作指令，處理視覺圖像，路徑規(guī)劃及發(fā)送操作指令等等。

所述四輪全方位移動(dòng)平臺1由四個(gè)安裝有編碼器7的直流電機(jī)8分別驅(qū)動(dòng)四個(gè)全方位輪9所控制，可以實(shí)現(xiàn)狹小空間內(nèi)各個(gè)方向的直行以及原地旋轉(zhuǎn)等動(dòng)作，所述相機(jī)一4可根據(jù)需求調(diào)整俯仰角和焦距等參數(shù)以滿足對不同環(huán)境中的視距和視野范圍等需求，所述相機(jī)二5位置跟隨機(jī)械手2動(dòng)作，視角總與機(jī)械手2操作平面相垂直。

工控機(jī)6通過串口向控制器10發(fā)送操作指令，控制器10生成對應(yīng)的控制信號發(fā)送至移動(dòng)平臺1及機(jī)械手2的各個(gè)電機(jī)，并接收實(shí)時(shí)反饋信號實(shí)現(xiàn)負(fù)反饋控制，所述相機(jī)一4和相機(jī)二5同時(shí)將實(shí)時(shí)圖像發(fā)送至工控機(jī)6以進(jìn)行視覺分析，并根據(jù)視覺圖像所提供的反饋信息實(shí)時(shí)控制移動(dòng)機(jī)器人的各個(gè)動(dòng)作。

本發(fā)明還提供了一種移動(dòng)視覺機(jī)器人測控方法，包括以下步驟：

給定機(jī)器人具體動(dòng)作指令，指令包含內(nèi)容為對何種物體進(jìn)行何種動(dòng)作，以及目標(biāo)物體的坐標(biāo)方位；

計(jì)算并規(guī)劃機(jī)器人移動(dòng)平臺1實(shí)際移動(dòng)路徑，工控機(jī)6根據(jù)路徑產(chǎn)生操作指令控制機(jī)器人移動(dòng)平臺1轉(zhuǎn)向目標(biāo)位置；

機(jī)器人向目標(biāo)位置移動(dòng)，相機(jī)一4和相機(jī)二5實(shí)時(shí)采集移動(dòng)路徑上的圖像，修正方向偏差并避免碰撞；

經(jīng)過一次或多次移動(dòng)接近目標(biāo)位置后，根據(jù)相機(jī)一4采集的圖像判斷目標(biāo)物體的具體方位坐標(biāo)，修正移動(dòng)路徑；

令機(jī)器人機(jī)械手2移動(dòng)至目標(biāo)物體正上方后，根據(jù)相機(jī)二5采集的圖像獲取目標(biāo)物體的精確位置與姿態(tài)信息，進(jìn)而機(jī)械手2對目標(biāo)物體完成指令中給定的動(dòng)作；

根據(jù)相機(jī)一4采集的圖像中的標(biāo)定信息修正機(jī)器人移動(dòng)平臺1和機(jī)械手2的坐標(biāo)誤差，等待下一輪動(dòng)作指令。

對于圖像中目標(biāo)物體的判斷，是根據(jù)目標(biāo)物體的多個(gè)特征構(gòu)成的模型進(jìn)行的，這些特征包括但不僅限于顏色特征，形狀特征，大小特征，以及對應(yīng)某些物體獨(dú)有的突出特征，對于需要操作的物體需要分別對應(yīng)相機(jī)一4采集的圖像和相機(jī)二5采集的圖像建立兩套模型。主要思想是根據(jù)實(shí)際情況，首先根據(jù)顏色等特征對圖像中的所有對象進(jìn)行一次篩選，之后對篩選剩下的對象的提取輪廓進(jìn)行模板匹配，從而得到目標(biāo)物體在圖像中的坐標(biāo)位置。由于相機(jī)獲取的圖像會存在不同程度的畸變，因此需要對識別得到的目標(biāo)物體在圖像中的坐標(biāo)進(jìn)行坐標(biāo)轉(zhuǎn)換計(jì)算得到其世界坐標(biāo)。

給定機(jī)器人移動(dòng)指令時(shí)，僅需指出移動(dòng)目的地的坐標(biāo)，機(jī)器人便可自動(dòng)計(jì)算最佳移動(dòng)路徑以并開始移動(dòng)操作，同時(shí)記錄并更新自身的坐標(biāo)和方位角，同時(shí)機(jī)器人可根據(jù)周圍環(huán)境特征修正移動(dòng)誤差造成的坐標(biāo)偏移，防止累積誤差產(chǎn)生而導(dǎo)致錯(cuò)誤發(fā)生；誤差修正過程主要利用相機(jī)一4采集的圖像中可利用的正交于世界坐標(biāo)系的直線特征或是標(biāo)記，采用視覺方法計(jì)算這些直線的角度以及與機(jī)器人的距離，依次計(jì)算機(jī)器人的實(shí)際坐標(biāo)和方位角，從而達(dá)到修正誤差的目的。

與采用其他方式進(jìn)行引導(dǎo)的移動(dòng)機(jī)器人相比，本發(fā)明采用視覺檢測方法，兩臺相機(jī)分別獲取全局圖像和局部圖像，通過模式識別方法并利用全局圖像與局部圖像互補(bǔ)對目標(biāo)物體進(jìn)行定位，根據(jù)定位信息現(xiàn)場規(guī)劃機(jī)器人移動(dòng)路徑，并根據(jù)圖像信息實(shí)現(xiàn)對機(jī)器人的控制、方位修正和對目標(biāo)的操作。實(shí)現(xiàn)了不同場景情況下的目標(biāo)識別與定位、現(xiàn)場路徑規(guī)劃、機(jī)器人移動(dòng)誤差修正和計(jì)算機(jī)對移動(dòng)機(jī)器人的自動(dòng)控制。從而在具有較高移動(dòng)和操作精度的前提下，可以靈活的給定移動(dòng)機(jī)器人不同的操作指令使機(jī)器人對目標(biāo)物體自動(dòng)完成一些復(fù)雜的操作。并且對環(huán)境要求較小，抗干擾能力強(qiáng)，僅需簡單的直線標(biāo)志甚至不需要專用的標(biāo)志便可完成運(yùn)行。

附圖說明

圖1為本發(fā)明實(shí)驗(yàn)平臺系統(tǒng)結(jié)構(gòu)框圖。

圖2為本發(fā)明中移動(dòng)機(jī)器人3D示意圖。

圖3為本發(fā)明中機(jī)器人移動(dòng)平臺底盤的內(nèi)部俯視圖。

圖4為本發(fā)明的機(jī)器人視覺測控方法總體流程圖。

圖5為本發(fā)明的目標(biāo)識別與定位圖像算法流程圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例詳細(xì)說明本發(fā)明的實(shí)施方式。

本發(fā)明移動(dòng)視覺機(jī)器人測控方法主要是給定機(jī)器人具體動(dòng)作指令，指令包含內(nèi)容為對何種物體進(jìn)行何種動(dòng)作，以及目標(biāo)物體的坐標(biāo)方位；計(jì)算并規(guī)劃移動(dòng)平臺1實(shí)際移動(dòng)路徑，工控機(jī)6根據(jù)路徑產(chǎn)生操作指令控制移動(dòng)平臺1轉(zhuǎn)向目標(biāo)位置；機(jī)器人向目標(biāo)位置移動(dòng)，相機(jī)一4和相機(jī)二5實(shí)時(shí)采集移動(dòng)路徑上的圖像，修正方向偏差并避免碰撞；經(jīng)過一次或多次移動(dòng)接近目標(biāo)位置后，根據(jù)相機(jī)一4采集的圖像判斷目標(biāo)物體的具體方位坐標(biāo)，修正移動(dòng)路徑；令機(jī)械手2移動(dòng)至目標(biāo)物體正上方后，根據(jù)相機(jī)二5采集的圖像獲取目標(biāo)物體的精確位置與姿態(tài)信息，進(jìn)而機(jī)械手2對目標(biāo)物體完成指令中給定的動(dòng)作；根據(jù)相機(jī)一4采集的圖像中的標(biāo)定信息修正移動(dòng)平臺1和機(jī)械手2的坐標(biāo)誤差，等待下一輪動(dòng)作指令。

本發(fā)明搭建如下實(shí)驗(yàn)平臺對該方法的可行性進(jìn)行驗(yàn)證。

本發(fā)明使用移動(dòng)移動(dòng)平臺1為四輪全方位移動(dòng)平臺，其上搭載一臺五自由度機(jī)械手2，移動(dòng)平臺1內(nèi)部搭載有一臺工控機(jī)6可通過Wi-Fi接收遠(yuǎn)程指令并處理視覺圖像，計(jì)算移動(dòng)路徑，發(fā)送操作指令。在移動(dòng)平臺1上機(jī)械手2后面使用支架3固定有一視角傾斜向下的相機(jī)一4，在機(jī)械手2夾具末端固定有另一相機(jī)二5視角朝向機(jī)械手操作方向。

對于移動(dòng)機(jī)器人，其相機(jī)一4用于采集機(jī)器人正前方以及移動(dòng)路徑上的全局圖像，可根據(jù)需求調(diào)整俯仰角和焦距等參數(shù)以滿足對不同環(huán)境中的視距和視野范圍等需求，相機(jī)二5用于采集不同操作情況下各種對象的細(xì)節(jié)圖像，相機(jī)二5位置跟隨機(jī)械手2動(dòng)作，視角總與機(jī)械手2操作平面相垂直。相機(jī)一4和相機(jī)二5均通過USB接口與工控機(jī)6相連，以便將兩部相機(jī)采集的圖像都發(fā)送至工控機(jī)進(jìn)行處理。

移動(dòng)移動(dòng)平臺1內(nèi)部安裝工控機(jī)6、無線收發(fā)模塊、控制器10和驅(qū)動(dòng)器11，移動(dòng)平臺1的底盤上安裝四個(gè)帶有光電編碼器7測速模塊的12V直流電機(jī)8，直流電機(jī)8驅(qū)動(dòng)四個(gè)全方位輪9帶動(dòng)移動(dòng)平臺1，通過一塊12V鋰離子電池12為機(jī)器人的所有電機(jī)和控制器10以及工控機(jī)6提供電源。控制器10和驅(qū)動(dòng)器11通過串口與工控機(jī)6相連，控制器10接收到工控機(jī)6指令后，其處理器將指令解析并調(diào)制PWM信號輸出值驅(qū)動(dòng)器11，從而令驅(qū)動(dòng)器11通過改變輸入電壓達(dá)到控制移動(dòng)平臺1各個(gè)電機(jī)以及機(jī)械手2的各個(gè)關(guān)節(jié)的運(yùn)動(dòng)。同時(shí)移動(dòng)平臺1電機(jī)編碼器7和機(jī)械手2將反饋信號實(shí)時(shí)返回至控制器10，計(jì)算得到移動(dòng)平臺1各個(gè)電機(jī)的實(shí)際速度和機(jī)械手2的實(shí)際姿態(tài)，根據(jù)實(shí)際數(shù)據(jù)使用PID控制計(jì)算控制器10輸出信號，令移動(dòng)平臺1各個(gè)電機(jī)速度趨近于給定速度，機(jī)械手2姿態(tài)趨近于給定姿態(tài)，從而實(shí)現(xiàn)負(fù)反饋控制。

基于該系統(tǒng)裝置，基于相機(jī)一4和相機(jī)二5獲取到的圖像，首先采用canny算子獲取圖像中的所有輪廓，設(shè)定合適的面積閾值，超過閾值的輪廓為圖像中的有效目標(biāo)，其余為噪聲，之后對每一個(gè)輪廓進(jìn)行判斷，判定輪廓為已知目標(biāo)物體或是地面標(biāo)示和移動(dòng)路徑上的障礙。判定輪廓的方法為，首先計(jì)算輪廓中的相減混色，即提取輪廓內(nèi)部圖像中的RGB分量分別對應(yīng)計(jì)算混合顏色空間模型參數(shù)并取平均，包括R-B，R-G，B-G分量，通過比較混合顏色空間模型與模板的相似度對輪廓進(jìn)行第一輪分類，混合顏色空間模型可以有效提取出目標(biāo)輪廓的顯著顏色特征而受光照強(qiáng)弱影響較小，避免了現(xiàn)場光照變化對裝置效果產(chǎn)生的影響。之后對這些輪廓采用歸一化相關(guān)系數(shù)匹配法與可能存在的目標(biāo)模板進(jìn)行模板匹配，目標(biāo)模板在加入新目標(biāo)時(shí)采集得到，分為對應(yīng)相機(jī)一4圖像和相機(jī)二5圖像的兩套模板。在提取出可能存在的所有目標(biāo)后，便可得知目標(biāo)物體在圖像中的坐標(biāo)，對于圖像中的其他輪廓，首先濾除噪聲干擾，之后根據(jù)輪廓大小判斷是否為移動(dòng)路徑上的障礙或是其他標(biāo)示。

通過分析相機(jī)一4拍攝到的圖片并獲取到目標(biāo)物體在圖像中的坐標(biāo)后，由于圖像存在畸變，對于矩形圖片對應(yīng)的實(shí)際地面為一倒立的梯形，因此需要通過畸變校正將圖像坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系，轉(zhuǎn)換方法如下：假設(shè)目標(biāo)在圖像中的坐標(biāo)為(u,v)，相機(jī)一4俯仰角為θ，焦距為f，視角為α，相機(jī)一4距地面高度為h，對比圖像與實(shí)際地面可以發(fā)現(xiàn)，產(chǎn)生的畸變分為橫向畸變和縱向畸變兩類，對于橫向畸變，即X軸方向上的畸變，可近似認(rèn)為是線性的；而對于縱向畸變，即Y軸上的畸變，相機(jī)一4遠(yuǎn)處的目標(biāo)會被壓縮，并且目標(biāo)距離相機(jī)一4越遠(yuǎn)時(shí)，壓縮越嚴(yán)重，這種壓縮是非線性的。因此計(jì)算目標(biāo)在世界坐標(biāo)系中的坐標(biāo)(x,y)中坐標(biāo)x的近似值為：

x＝kuv

其中k為圖像坐標(biāo)系中像素距離與世界坐標(biāo)系中實(shí)際距離在X軸方向上的比例系數(shù)。

坐標(biāo)y的近似值為：

由于上述的坐標(biāo)變換及機(jī)器人的移動(dòng)均會存在一定的誤差，若要對目標(biāo)物體做到更精確的操作，必須達(dá)到更高的定位精度，因此在機(jī)器人接近目標(biāo)物體后，使用相機(jī)二5拍攝得到的圖像進(jìn)行精確定位。當(dāng)機(jī)械手2末端大致位于目標(biāo)物體上方且相機(jī)二5視角與物體放置表面垂直時(shí)，通過上述目標(biāo)定位方法可識別出目標(biāo)物體在相機(jī)二5拍攝得到圖像中的坐標(biāo)，由于拍攝距離較近，圖像畸變可忽略不計(jì)，從而通過線性變換便可求得目標(biāo)物體相對于機(jī)械手2末端的坐標(biāo)，由于機(jī)械手2末端的位置是可知的，因此可以得到目標(biāo)物體的世界坐標(biāo)，據(jù)此便可進(jìn)一步對目標(biāo)物體進(jìn)行各種精確操作。

在機(jī)器人移動(dòng)時(shí)，給定移動(dòng)目的地世界坐標(biāo)(x_d,y_d)后，根據(jù)機(jī)器人所記錄的自身坐標(biāo)(x_c,y_c)和方位角θ_c，計(jì)算得到相應(yīng)的機(jī)器人轉(zhuǎn)向角度θ_t為：

機(jī)器人移動(dòng)距離d為：

得到機(jī)器人的轉(zhuǎn)向角度θ_t和移動(dòng)距離d之后，據(jù)此進(jìn)行移動(dòng)，并更新機(jī)器人自身坐標(biāo)(x_c,y_c)和方位角θ_c。在移動(dòng)過程中，由于地面環(huán)境等多種因素，每次移動(dòng)之后會累積一定的誤差，若不進(jìn)行修正，則多次移動(dòng)后誤差累積過大，同時(shí)機(jī)器人自身坐標(biāo)(x_c,y_c)和方位角θ_c偏差過大導(dǎo)致坐標(biāo)系混亂無法使用。因此在每3到5次移動(dòng)之后應(yīng)進(jìn)行誤差修正，使方位角θ_c和機(jī)器人自身坐標(biāo)(x_c,y_c)保持準(zhǔn)確。方位角的修正過程主要根據(jù)周圍環(huán)境特征進(jìn)行，一般機(jī)器人的運(yùn)行環(huán)境地面會有正交于世界坐標(biāo)系的直線特征可供利用，例如墻壁于地面接壤處，地表紋路，以及桌面邊沿等等，如果運(yùn)行環(huán)境中不存在類似的特征，則需增加簡單的直線標(biāo)示。機(jī)器人在靜止?fàn)顟B(tài)下時(shí)，使用Hough變換檢測得到相機(jī)一4得到的圖像中的所有直線，根據(jù)當(dāng)前機(jī)器人方位角θ_c提取出傾斜角度接近于和-θ_c并且長度大于所設(shè)定閾值的直線，通過該直線傾斜角度便可得到機(jī)器人準(zhǔn)確的方位角。機(jī)器人自身坐標(biāo)的修正則需要依靠某個(gè)已知坐標(biāo)的標(biāo)定點(diǎn)，根據(jù)識別出相機(jī)一4得到的圖像中標(biāo)定點(diǎn)的坐標(biāo)，轉(zhuǎn)換得到標(biāo)定點(diǎn)相對于移動(dòng)平臺1的坐標(biāo)，進(jìn)一步便可得到移動(dòng)平臺1的準(zhǔn)確坐標(biāo)。

通過以上方法，便可以實(shí)現(xiàn)移動(dòng)機(jī)器人的目標(biāo)定位，自動(dòng)控制和誤差修正等功能。本發(fā)明根據(jù)獲取的圖像信息，采用圖像畸變矯正和模式識別方法計(jì)算移動(dòng)機(jī)器人以及特定目標(biāo)的定位和狀態(tài)信息，進(jìn)而控制機(jī)器人對目標(biāo)物體完成指令動(dòng)作，具有精度高，抗干擾強(qiáng)的特點(diǎn)，不需要復(fù)雜的環(huán)境支持，適用于各種實(shí)驗(yàn)室和工廠環(huán)境。