專利名稱：環(huán)境識別裝置及環(huán)境識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于檢測區(qū)域的對象物的亮度而識別該對象物的環(huán)境識別裝置及環(huán)境識別方法。
背景技術(shù)：
以往，檢測位于本車輛前方的車輛或信號燈等所謂障礙物的對象物，并對本車輛進行控制以避免與所檢測出的對象物發(fā)生碰撞或使本車輛與前行車輛的車距保持在安全距離的技術(shù)已被為人所知(例如，專利文獻1、2)。
而且，在這種技術(shù)中，不僅將對象物一律特定為物體，而且為了進行更高精度的控制，還存在判斷對象物是以與本車輛相同的速度行駛的前行車輛，還是不移動的被固定的物體等的技術(shù)。這里，當通過對檢測區(qū)域的拍攝而檢測出對象物時,在特定對象物為何物之前，應(yīng)從所拍攝的圖像中提取(剪切)對象物本身。
周知的技術(shù)例如有當所拍攝的圖像為彩色圖像時，將具有相同的亮度(顏色)的像素群組化，并將信號燈等的光源識別為對象物的技術(shù)(例如，專利文獻3)。但是，這樣的對象物受到太陽光或照明光等的環(huán)境光的影響，顏色有可能發(fā)生變化。因此，為了消除環(huán)境光的影響，可以考慮對所拍攝的圖像實施白平衡補償。周知的技術(shù)例如有從拍攝的圖像中提取相當于道路面的區(qū)域進行白平衡補償?shù)募夹g(shù)。
現(xiàn)有技術(shù)文獻
專利文獻
專利文獻I :日本專利第3349060號
專利文獻2 :日本特開平10-283461號公報
專利文獻3 :日本特開2010-224925號公報
專利文獻4 :日本特開2006-33855號公報
當本車輛在道路上行駛時，大多數(shù)情況下道路占有檢測區(qū)域內(nèi)，因此最好進行如下的補償，即，提取相當于道路面的區(qū)域，并以該道路面為灰色為前提，進行使道路面變成灰色的白平衡補償。但是，在一般的道路面上，還有代表學(xué)校區(qū)域的被覆上灰色以外的顏色 (例如綠色)的道路面。當進行將這樣的被覆上灰色以外的顏色的道路面單純地變換為灰色的白平衡補償時，檢測區(qū)域內(nèi)的白平衡會變亂。
為了避免發(fā)生這樣的情況，可以基于被覆上灰色以外的顏色的道路相比灰色的道路少的情況，考慮借助低通濾波器等，排除這樣的道路。但是，被覆上灰色以外的色顏色的道路并不一定一律為短道路，因此難以將低通濾波器的參數(shù)唯一地定義。并且，在隧道的入口等的環(huán)境光急劇變化的情況下，濾波器的延遲有可能影響控制的響應(yīng)性。發(fā)明內(nèi)容
本發(fā)明是鑒于這種問題而提出的，其目的在于提供一種能夠在不伴隨響應(yīng)延遲的情況下恰當?shù)貙崿F(xiàn)白平衡補償?shù)沫h(huán)境識別裝置和環(huán)境識別方法。
為了實現(xiàn)上述目的，本發(fā)明的環(huán)境識別裝置的特征在于包括數(shù)據(jù)存儲單元，對應(yīng)地存儲亮度的范圍和特定物；亮度獲取單元，獲取存在于檢測區(qū)域內(nèi)的對象部位的亮度； 亮度特定單元，從所獲取的亮度中特定道路面的亮度以及道路面以外的預(yù)定的參照部位的亮度；白平衡導(dǎo)出單元，導(dǎo)出白平衡補償值，以使道路面的亮度被識別為預(yù)定顏色；白平衡執(zhí)行單元，對所獲取的亮度實施基于白平衡補償值的白平衡補償而導(dǎo)出補償亮度；特定物初步確定單兀，基于數(shù)據(jù)存儲單兀所存儲的売度的范圍和特定物之間的對應(yīng)關(guān)系，從對象部位的補償亮度初步確定對應(yīng)于對象部位的特定物，而且當在參照部位的亮度變化沒有達到第二預(yù)定值以上的狀態(tài)下，道路面的亮度變化達到第一預(yù)定值以上，且道路面的變化后的亮度不是預(yù)定顏色時，白平衡導(dǎo)出單元從變化時間點開始至道路面的亮度返回到預(yù)定顏色為止維持變化之前的白平衡補償值。
而且，參照部位可以為檢測區(qū)域內(nèi)的道路面上的限制行駛路的線。
而且，道路面可以基于參照部位設(shè)為參照部位的鄰近區(qū)域。
而且，白平衡導(dǎo)出單元可通過求出檢測區(qū)域中的預(yù)定的第一部分區(qū)域的不同時刻的、道路面的亮度以及參照部位的亮度而導(dǎo)出道路面的亮度的變化。
而且，白平衡導(dǎo)出單元可通過分別求出檢測區(qū)域中的預(yù)定的第一部分區(qū)域和檢測區(qū)域中的與第一部分區(qū)域沿高度方向分隔的第二部分區(qū)域的道路面的亮度以及參照部位的亮度而導(dǎo)出道路面的亮度的變化。
而且，當?shù)缆访娴牧炼葹樽畲蠡蜃钚〉纳嘀忻恳粋€的差值之間的差值為第三預(yù)定值以上時，白平衡導(dǎo)出單元判斷為亮度發(fā)生了變化。
而且，白平衡導(dǎo)出單元可以求出道路面的每個色相的亮度的最大值，將使與亮度為最大值的色相不同的色相的亮度變成最大值的比率設(shè)為白平衡補償值。
而且，白平衡導(dǎo)出單元可以求出道路面的每個色相的亮度為第二大的值，將使與亮度為第二大的色相不同的色相的亮度變成第二大的值的比率設(shè)為白平衡補償值。
而且，白平衡導(dǎo)出單元可以求出道路面的每個色相的亮度的最小值，將使與亮度為最大值的色相不同的色相的亮度變成最小值的比率設(shè)為白平衡補償值。
而且，亮度特定單元可以從檢測區(qū)域內(nèi)的、基于先行車輛或車輛前方的特定物的位置而被限制在鉛直方向的預(yù)定區(qū)域特定道路面的亮度和參照部位的亮度。
為了實現(xiàn)上述目的，本發(fā)明的環(huán)境識別方法的特征在于，獲取存在于檢測區(qū)域內(nèi)的對象部位的亮度；從所獲取的亮度中特定道路面的亮度以及道路面以外的預(yù)定的參照部位的亮度；當在參照部位的亮度變化沒有達到第二預(yù)定值以上的狀態(tài)下，道路面的亮度變化達到第一預(yù)定值以上，且道路面的變化后的亮度不是預(yù)定顏色時，從變化時間點開始至道路面的亮度返回到預(yù)定顏色為止維持變化之前的白平衡補償值，而在除此之外的情況下，導(dǎo)出白平衡補償值，以使道路面的亮度被識別為預(yù)定顏色；對所獲取的亮度實施基于白平衡補償值的白平衡補償而導(dǎo)出補償亮度；基于數(shù)據(jù)存儲單元所存儲的亮度的范圍與特定物之間的對應(yīng)關(guān)系，從對象部位的補償亮度初步確定對應(yīng)于對象部位的特定物。
根據(jù)本發(fā)明，能夠高精度地檢測出道路面的亮度的變化是因環(huán)境光而引起的還是因道路面本身的著色而引起的，而且能夠避免隨之而產(chǎn)生的響應(yīng)延遲的情況下恰當?shù)貙崿F(xiàn)白平衡補償。


圖I為示出環(huán)境識別系統(tǒng)的連接關(guān)系的方框圖。
圖2為用于說明亮度圖像和距離圖像的說明圖。
圖3為示出環(huán)境識別裝置的概略功能的功能方框圖。
圖4為用于說明特定物表格的說明圖。
圖5為用于說明白平衡導(dǎo)出單元的處理的說明圖。
圖6為用于說明通過位置信息獲取單元變換為三維位置信息的說明圖。
圖7為用于說明亮度特定單元的動作的說明圖。
圖8為用于說明特定物映射圖的說明圖。
圖9為表示環(huán)境識別方法的整個流程的流程圖。
圖10為表示白平衡補償值導(dǎo)出處理的流程的流程圖。
圖11為表示特定物映射圖生成處理的流程的流程圖。
圖12為表示群組化處理的流程的流程圖。
圖13為表示特定物確定處理的流程的流程圖。
圖14為表示白平衡準備處理的流程的流程圖。
符號說明
I :車輛
122 :檢測區(qū)域
124 :亮度圖像
126 :距離圖像
130 :環(huán)境識別裝置
152 :數(shù)據(jù)存儲單元
160 :亮度獲取單元
162 :白平衡導(dǎo)出單元
164 :白平衡執(zhí)行單元
166 :位置信息獲取單元
168 :亮度特定單元
170 :特定物初步確定單元
172 :群組化單元
174 :特定物確定單元
176 :圖案匹配單元
200 :特定物表格
202 :亮度范圍
220 :特定物映射圖具體實施方式
以下，參照附圖詳細說明本發(fā)明的優(yōu)選實施方式。所涉及的實施方式中所示的尺寸、材料、其他具體數(shù)值等是僅僅是為了使發(fā)明容易理解而例示的，除了特別指定的情況之外，并不能用來限定本發(fā)明。在此，本說明書及附圖中，對于具有實質(zhì)上相同的功能、結(jié)構(gòu)的CN 102975677 A書明說4/16 頁
要素，通過賦予相同的符號的方式省略重復(fù)性說明，而且對與本發(fā)明沒有直接關(guān)系的要素省略了圖示。
(環(huán)境識別系統(tǒng)100)
圖I為示出環(huán)境識別系統(tǒng)100的連接關(guān)系的方框圖。環(huán)境識別系統(tǒng)100包含設(shè)置在車輛I內(nèi)的多個(本實施方式中為兩個)攝像裝置110、圖像處理裝置120、環(huán)境識別裝置130、車輛控制裝置140。
攝像裝置110包含電荷稱合器件(CO), Charge-Coupled Device)或互補金素氧化半導(dǎo)體(CMOS, Complementary Metal-Oxide Semiconductor)等攝像器件，能夠獲取彩色圖像，即，像素單位中可獲取三個色相(紅、綠、藍)的亮度。在本實施方式中，把顏色和亮度同等看待，在同一篇文章里包含兩個語句時，可相互交替讀取為構(gòu)成顏色的亮度或具有亮度的顏色。在此，由攝像裝置110所拍攝的彩色圖像稱為亮度圖像，區(qū)別于后述的距離圖像。而且，攝像裝置110為兩個，兩個攝像裝置110在大致水平方向上分開布置，以在車輛 I的行駛方向側(cè)兩個攝像裝置110各自的光軸大致平行。攝像裝置110每隔例如1/60秒 (60fps)連續(xù)生成拍攝車輛I前方的檢測區(qū)域中的對象物的圖像數(shù)據(jù)。這里，對象物不僅包括車輛、信號燈、道路、護欄等獨立存在的立體物，還包括尾燈或轉(zhuǎn)向指示燈、信號燈的各個照明部分等能夠特定為立體物的部分的物體。在以下實施方式中的各個功能單元以這種圖像數(shù)據(jù)的更新為契機執(zhí)行各種處理。
圖像處理裝置120從兩個攝像裝置110分別獲取圖像數(shù)據(jù)，并基于兩個圖像數(shù)據(jù)導(dǎo)出包含圖像中的任意區(qū)塊(集合預(yù)定數(shù)量的像素的區(qū)塊)的視差以及示出任意區(qū)塊在畫面中的位置的畫面位置的視差信息。圖像處理裝置120采用從另一個像素數(shù)據(jù)搜索對應(yīng)于從一個圖像數(shù)據(jù)任意抽出的區(qū)塊(例如，水平4像素X垂直4像素的陣列)的區(qū)塊的所謂的圖案匹配而導(dǎo)出視差。在此，水平是指所拍攝的圖像的畫面橫向方向，相當于實際空間中的水平方向。而且，垂直是指所拍攝的圖像的畫面縱向方向，相當于實際空間中的豎直方向。
所述圖案匹配是指，在兩個圖像數(shù)據(jù)之間以示出任意圖像位置的區(qū)塊單位比較亮度值(Y色差信號)的方法。例如，包括求出亮度值的差值的絕對差值和(SAD，Sum of Absolute Difference)、將差值平方后使用的差值的平方和(SSD, Sum of Squared intensity Difference)、求出從各個像素的亮度值減去了平均值的分散值的相似度的歸一化互相關(guān)(NCC, Normalized Cross Correlation)等方法。圖像處理裝置120對于被顯示在檢索區(qū)域(例如,600像素X200像素)的全部區(qū)塊執(zhí)行這種區(qū)塊單位的視差導(dǎo)出處理。在此，將區(qū)塊設(shè)定為4像素X4像素，但區(qū)塊內(nèi)的像素數(shù)量可以任意地設(shè)定。
但是，在圖像處理裝置120中，雖然對作為檢測分辨率的單位的每個區(qū)塊能夠?qū)С鲆暡?，但無法識別該區(qū)塊是哪種對象物的一部分。因此，視差信息不是對象物單位，而是作為檢測區(qū)域的檢測分辨率單位(例如區(qū)塊單位)而被獨立地導(dǎo)出。在此，將如此導(dǎo)出的視差信息(相當于后述的相對距離)映射到圖像數(shù)據(jù)的圖像稱為距離圖像。
圖2為用于說明亮度圖像124和距離圖像126的說明圖。例如，假設(shè)通過兩個攝像裝置110針對檢測區(qū)域122生成圖2(a)所示的亮度圖像(圖像數(shù)據(jù))124。但是，這里， 為了便于理解，僅模式性地示出兩個亮度圖像124中的一個。在本實施方式中，圖像處理裝置120從這種亮度圖像124求出每個區(qū)塊的視差，從而形成圖2(b)所示的距離圖像126。7對于距離圖像126中的各個區(qū)塊來說，其區(qū)塊的視差相互關(guān)聯(lián)。在此，為了便于說明，將導(dǎo)出視差的區(qū)塊以黑點表示。
對于視差來說，容易在圖像的邊緣部分(相鄰像素之間明暗的差值較大的部分) 被特定，因此在距離圖像126中，賦予黑點的、導(dǎo)出視差的區(qū)塊在亮度圖像124中也大多形成邊緣。因此，圖2(a)所示的亮度圖像124和圖2(b)所示的距離圖像126在各個對象物的輪廓上相互近似。
環(huán)境識別裝置130從圖像處理裝置120獲得亮度圖像124和距離圖像126，并利用基于亮度圖像124的亮度特定檢測區(qū)域122中的對象物對應(yīng)于哪個特定物。但是，在本實施方式中，通過對亮度圖像124實施白平衡補償謀求提高對象物的特定精度。并且，為了特定對象物，還使用基于距離圖像126的與車輛I的相對距離。這時，環(huán)境識別裝置130利用所謂的立體視覺法將距離圖像126中的檢測區(qū)域122內(nèi)的每個區(qū)塊的視差信息變換為包含相對距離的三維位置信息。這里，立體視覺法是通過使用三角測量法從對象物的視差導(dǎo)出該對象物相對于攝像裝置110的相對距離的方法。對于環(huán)境識別裝置130將在后面詳述。
車輛控制裝置140執(zhí)行避免本車輛與通過環(huán)境識別裝置130特定的對象物碰撞或使本車輛與前行車輛的車間距保持在安全距離的控制。具體來說，車輛控制裝置140通過用于檢測方向盤角度的舵角傳感器142和用于檢測車輛I的速度的車速傳感器144等獲得當前的車輛I的行駛狀態(tài)，并通過控制致動器146將車輛I與前行車輛的車間距保持在安全距離。在此，致動器146是用于控制剎車、節(jié)氣閥、舵角等的車輛控制用致動器。而且，當推斷出將與對象物產(chǎn)生碰撞時，車輛控制裝置140在設(shè)置在駕駛者前方的顯示器148進行相應(yīng)警告顯示(報警)的同時，控制致動器146使車輛I自動地減速。車輛控制裝置140 也可以與環(huán)境識別裝置130形成為一體。
(環(huán)境識別裝置130)
圖3為示出環(huán)境識別裝置130的概略的功能的功能方框圖。如圖3所示，環(huán)境識別裝置130包括I/F單元150、數(shù)據(jù)存儲單元152、中央控制單元154。
I/F單元150是用于與圖像處理裝置120和車輛控制裝置140進行雙向信息交換的接口。數(shù)據(jù)存儲單元152由RAM、閃存、HDD等構(gòu)成，以用于存儲特定物表格(對應(yīng)關(guān)系) 或以下所示各個功能單元的處理中所必要的各種信息，而且暫時存儲從圖像處理裝置120 接收的亮度圖像124、距離圖像126。在此，特定物表格的使用方式如下。
圖4為用于說明特定物表格200的說明圖。在特定物表格200中，針對多個特定物對應(yīng)有表示亮度的范圍的亮度范圍202和表示特定物的大小的范圍的幅度范圍204。這里，作為特定物，可假設(shè)“信號燈(紅)”、“信號燈(黃)”、“信號燈(藍)”、“尾燈(紅)”、 “轉(zhuǎn)向指示燈(橙)”、“道路標識(紅)”、“道路標識(藍)”、“道路標識(綠)”等在道路上行駛時需要看見的各種物體。當然，特定物并不局限于圖4所示的物體。而且，特定物表格 200中，特定物的特定具有優(yōu)先順序，該環(huán)境識別處理依照該優(yōu)先順序，對于從特定物表格 200中的多個特定物中依次選擇出的每一個特定物執(zhí)行。特定物中，例如，特定物“信號燈 (紅)”中對應(yīng)著亮度(紅)“200以上”，亮度(綠)“50以下”，亮度(藍)“50以下”，幅度范圍“O. I O. 3m”。
在本實施方式中，基于特定物表格200，在亮度圖像124內(nèi)的任意對象部位中滿足有關(guān)任意特定物的亮度范圍202的條件的對象部位成為特定物的候補。例如，當對象部位的亮度被包含于特定物“信號燈(紅)”的亮度范圍202之內(nèi)時，將該對象部位作為“信號燈(紅)”的候補。并且，將對象部位群組化的對象物以類似特定物的形態(tài)被提取時，例如， 被群組化的對象物的大小被包含在“信號燈(紅)”的幅度范圍“O. I O. 3m”之內(nèi)時，被判斷為特定物。被判斷為特定物的對象部位通過特定物固有的識別號被標記。這里，對象部位假設(shè)為像素或集合像素的區(qū)塊，但本實施方式中，為了便于說明，假設(shè)為像素。
中央控制單元154由包括中央處理器(CPU)、存儲有程序等的ROM、作為工作區(qū)的 RAM等的半導(dǎo)體集成電路構(gòu)成，通過系統(tǒng)總線156控制I/F單元150和數(shù)據(jù)存儲單元152 等。而且，在本實施方式中，中央控制單元154具有作為亮度獲取單元160、白平衡導(dǎo)出單元 162、白平衡執(zhí)行單元164、位置信息獲取單元166、亮度特定單元168、特定物初步確定單元 170、群組化單元172、特定物確定單元174、圖案匹配單元176的功能。
亮度獲取單元160根據(jù)后述的白平衡執(zhí)行單元164和特定物初步確定單元170的控制指令，從接收的亮度圖像124以對象部位(像素)單位獲取亮度(在像素單位中獲取三個色相(紅(R)、綠(G)、藍(B))的亮度)。并且，在后述的白平衡執(zhí)行單元164執(zhí)行白平衡補償之后，獲得其被補償?shù)难a償亮度。
白平衡導(dǎo)出單元162讀取存儲于數(shù)據(jù)存儲單元152的上一次獲得的道路面的亮度，導(dǎo)出白平衡補償值。然后，將所導(dǎo)出的白平衡補償值存儲到數(shù)據(jù)存儲單元152。
例如，由所述攝像裝置110拍攝的亮度圖像124中的物體相應(yīng)于環(huán)境光而有可能變成不自然的顏色(亮度)。這時，進行對亮度圖像124內(nèi)的白色物體進行補償而使其準確地反映出白色的所謂白平衡補償。這樣的白平衡補償通過如下方式進行，即，當特定的對象物沒有表現(xiàn)出本應(yīng)有的亮度時，例如以色相單位(R，G，B)對亮度乘以白平衡補償值(r，g， b) (rXR，gXG，bXB)，以使特定的對象物表現(xiàn)為本應(yīng)有的亮度。但是，對于為進行白平衡補償而參照的對象物而言，最好是在圖像上占有面積比較大的、能夠多少估計其亮度值的的對象物。
例如，白平衡導(dǎo)出單元162導(dǎo)出白平衡補償值，從而能夠?qū)z測區(qū)域122內(nèi)的道路面的亮度識別為預(yù)定顏色(例如灰色)。該環(huán)境識別系統(tǒng)100適用于車輛1，因此自然而然大多由作為行駛路的灰色的道路面占據(jù)著檢測區(qū)域122。通過如此地參照道路面，可以穩(wěn)定地導(dǎo)出恰當?shù)陌灼胶庋a償值。
具體而言，白平衡導(dǎo)出單元162求出道路面的每個色相的亮度的最大值，將使與亮度為最大值的色相不同的色相的亮度變成相同值(最大值)的比率設(shè)為白平衡補償值。 假設(shè)道路面的亮度為(R，G，B) = (150，200，180)，則白平衡導(dǎo)出單元162導(dǎo)出使亮度與三個色相中的亮度的最大值“200”一致的白平衡補償值(r，g，b)。在此，亮度為最大值“200” 的G的白平衡補償值為I. 00，亮度為“150”的R的白平衡補償值為200/150 = I. 33，亮度為“180”的B的白平衡補償值為200/180 = 1.11。如此，可以得到白平衡補償值(r，g，b) =(I. 33，I. 00，I. 11)。
并且，作為其他的示例，白平衡導(dǎo)出單元162也可以求出道路面的每個色相的亮度為第二大的值，以將使與亮度為第二大的色相不同的色相的亮度變成相同值(第二大的值)的比率設(shè)為白平衡補償值。此時，假設(shè)道路面的亮度為(R，G，B) = (150，200，180)，則白平衡導(dǎo)出單元162導(dǎo)出使亮度與三個色相中的亮度的第二大的值“180”一致的白平衡補償值(r，g，b)。如此，可以得到白平衡補償值(r，g，b) = (1.20,0. 90,1. 00) 0如此地通過使亮度一致為中間的色相的亮度，亮度接近設(shè)定范圍的中心值，即使亮度本身的偏差變大， 收斂至設(shè)定范圍的可能性也變高。
進一步地，作為其他的示例，白平衡導(dǎo)出單元162也可以求出道路面的每個色相的亮度的最小值，以將使與亮度為最小值的色相不同的色相的亮度變成相同值(最小值) 的比率設(shè)為白平衡補償值。此時，若道路面的亮度為(R，G，B) = (150，200，180)，則白平衡導(dǎo)出單元162導(dǎo)出使亮度與三個色相中的亮度的最小值“150” 一致的白平衡補償值(r，g， b)。如此，可以得到白平衡補償值(r，g，b) = (1.00，0.75，0.83)。無論使用哪個圖案，道路面的亮度能夠校正為本來的亮度，因此能夠謀求特定物的特定精度的提高。
但是，道路面除了因柏油而呈現(xiàn)為灰色的通常的道路之外(以下，簡單地稱為“通常道路”)，還有學(xué)校區(qū)域等，例如綠色、紅色、黃色的被覆上灰色以外的顏色的道路(以下， 簡單地稱為“異色道路”)。因此，將通常道路的道路面微調(diào)整為灰色的白平衡補償不能適用于異色道路。
因此，本實施方式的目的在于，高精度地檢測出道路面的亮度的變化是因環(huán)境光引起的還是道路面本身的著色引起的，由此實現(xiàn)恰當?shù)匕灼胶庋a償。在此，本申請的發(fā)明人著眼于以下問題。即，如果是因環(huán)境光引起的道路面的亮度的變化，則整個檢測區(qū)域122都受到環(huán)境光的影響，因此不僅是通常道路的道路面，道路面以外的預(yù)定參照部位的亮度也會發(fā)生變化，然而對于異色道路來說，僅該異色道路的亮度發(fā)生變化。以下，對于利用道路面的亮度和參照部位的亮度的變化檢測道路面的亮度的變化是因環(huán)境光引起的還是因道路面本身的著色引起的構(gòu)成進行說明。
白平衡導(dǎo)出單元162首先讀取存儲于數(shù)據(jù)存儲單元152的上一次獲取的道路面的亮度和參照部位的亮度，以及上上一次獲取的道路面的亮度和參照部位的亮度。然后，從上一次獲取的道路面的亮度和參照部位的亮度減去上上一次獲取的道路面的亮度和參照部位的亮度，導(dǎo)出道路面的亮度的差值和參照部位的亮度的差值。
然后，白平衡導(dǎo)出單元162判斷在參照部位的亮度的差值在維持小于第二預(yù)定值的狀態(tài)(沒有發(fā)生第二預(yù)定值以上變化的狀態(tài))下，道路面的亮度的差值是否為第一預(yù)定值以上。此時，如果道路面的亮度的差值為第一預(yù)定值以上，且上一次的道路面的亮度(變化后的亮度)不是預(yù)定顏色(例如灰色(例如R G B = 128 128 128)，則將該道路判斷為異色道路。因此，白平衡導(dǎo)出單元162從判斷道路為異色道路的、道路面的亮度的變化時間點(準確地來說是掌握了有變化的情況的時間點)開始，直至返回到通常道路的道路面的亮度變?yōu)轭A(yù)定顏色為止，維持上一次的(變化之前的)白平衡補償值。關(guān)于白平衡補償值的維持，通過不更新存儲于數(shù)據(jù)存儲單元152的白平衡補償值來實現(xiàn)。
在此，所述參照部位優(yōu)選為比較容易出現(xiàn)在檢測區(qū)域122的對象部位，例如可以是檢測區(qū)域122內(nèi)的道路面上的限制行駛路的線(斑馬線、中心線、停止線、路緣帶等)。對于白平衡補償而言，取得平衡的顏色越近似于白色，其精度越高。這里，通過參照道路面上比較容易提取的、限制行駛路的線，可以穩(wěn)定地導(dǎo)出恰當?shù)陌灼胶庋a償值。并且，這樣的限制行駛路的線與道路面一起出現(xiàn)在檢測區(qū)域122的情況較多，如本實施方式一樣，適合于同時要求道路面的亮度和參照部位的亮度的構(gòu)成。
此時，道路面由于鄰近于作為參照部位的限制行駛路的線，因此提取為限制行駛路的線的近鄰區(qū)域。據(jù)此，可以特定其形狀是難以特定的道路面。
圖5為用于白平衡導(dǎo)出單元162的處理的說明圖。例如，如圖5(a)所示，當行駛在通常道路時，白平衡導(dǎo)出單元162從數(shù)據(jù)存儲單元152讀取在行駛中恰當?shù)乇惶囟ǖ淖鳛閰⒄詹课坏闹行木€210a的亮度和該中心線210a鄰近區(qū)域的道路面212a的亮度的過去兩次的值。然后，導(dǎo)出其差值。在圖5(a)的示例中，道路面212和中心線210a的亮度大致維持恒定，因此哪個差值也不會變?yōu)榈谝活A(yù)定值或第二預(yù)定值以上，白平衡導(dǎo)出單元162 將該道路識別為通常道路，更新白平衡補償值。
并且，如圖5(b)所示，當行駛在隧道內(nèi)時，在該隧道的入口附近處，環(huán)境光從太陽光變?yōu)檎彰鞴猓柟庀碌牡缆访?12b的亮度變化為照明光下的道路面212c的亮度。伴隨著這種變化，道路面的亮度差值變?yōu)榈谝活A(yù)定值以上。但是，在此，太陽光下的中心線210b 的亮度也變化為照明光下的中心線210c的亮度，其差值變?yōu)榈诙A(yù)定值以上。因此，如同圖5(a) —樣，白平衡導(dǎo)出單元162將該道路識別為通常道路，更新白平衡補償值。
如圖5(c)所示，當行駛在異色道路時，在從通常道路的道路面212d移動到異色道路的道路面212e時，中心線210d的亮度和中心線210e的亮度沒有變化，因此亮度的差值維持小于第二預(yù)定值。另外，道路面212d的亮度和道路面212e的亮度發(fā)生變化，從而亮度差值變?yōu)榈谝活A(yù)定值以上。并且，變化后的道路面212e的亮度不是灰色。那么，白平衡導(dǎo)出單元162將該道路判斷為異色道路，停止白平衡補償值的更新。即，停止白平衡補償值的導(dǎo)出，存儲在數(shù)據(jù)存儲單元152的白平衡補償值的上一次值作為當次的白平衡補償值而直接利用。
并且，在圖5(c)中，當從異色道路的道路面212e移動到通常道路的道路面212f 時，中心線210e的亮度和中心線210f的亮度不發(fā)生變化，因此亮度的差值維持小于第二預(yù)定值。另外，道路面212e的亮度和道路面212f的亮度發(fā)生變化，亮度的差值變?yōu)榈谝活A(yù)定值以上。但是，不同于從道路面212d到道路面212e的移動，變化后的道路面212f的亮度為灰色。若判斷道路面為灰色，則白平衡導(dǎo)出單元162判斷該道路為通常道路，再次開始更新白平衡補償值。
并且，如圖5(d)所示，即使通常道路和異色道路交替布置，白平衡導(dǎo)出單元162如圖(c) 一樣進行處理。即，如果中心線210的亮度的變化為小于第二預(yù)定值，道路面212的亮度的變化為第一預(yù)定值以上，且道路面212的變化后的亮度不是灰色，則從變化時間點開始直至道路面212的亮度返回至灰色為止，維持變化之前的白平衡補償值。在此，由于異色道路的區(qū)間有多個，因此在任何情況下，都維持白平衡補償值。
如此，可以利用道路面212的亮度的變化和參照部位(在此為中心線210)的亮度的變化，恰當?shù)貦z測道路面212的亮度的變化是因針對通常道路的環(huán)境光而引起的還是如異色道路一樣因道路面本身的著色而引起的。
并且，在本實施方式中，白平衡導(dǎo)出單元162作為亮度變化的具體的判斷單元，當?shù)缆访?12的亮度為最大或最小的色相中每一個的差值之間的差值為第三預(yù)定值以上時判斷為亮度發(fā)生了變化。
例如，假設(shè)上上一次檢測時的道路面212的亮度(R，G，B)為(100，110，90)，中心線210的亮度(R，G，B)為(190，210，200)，上一次檢測時的道路面212的亮度(R，G，B)為 (90，110，100)，中心線210的亮度(R，G，B)為(180，200，190)。并且，對于第三預(yù)定值而言， 關(guān)于道路面212預(yù)設(shè)為“30”，關(guān)于中心線210預(yù)設(shè)為“20”。
此時，道路面212的亮度最大的色相為G，其差值為I 110-110 I =0。并且，道路面 212的亮度最小的色相為R(上一次檢測時)，其差值為|90-100| =10。因此，最大或最小的色相中每一個的差值之間的差值為|0-10| = 10。并且，中心線210的亮度最大的色相為 G，其差值為200-210 = 10。并且，中心線210的亮度最小的色相為R，其差值為180-190 = 10。因此,最大或最小的色相中每一個的差值之間的差值為|10-10| =0。
在此，關(guān)于道路面212的最大或最小的色相中每一個的差值之間的差值“10”為小于第三預(yù)定值“30”，且關(guān)于中心線210的最大或最小的色相中每一個的差值之間的差值 “O”為小于第三預(yù)定值“20”。因此，白平衡導(dǎo)出單元162判斷為道路面212和中心線210 都沒有變化，由此導(dǎo)出白平衡補償值。并且，以上，基于容易產(chǎn)生差值的理由，使用亮度最大和最小的色相，但是也可以根據(jù)亮度最大與第二大或者亮度最小與第二小的差值之間的差值進行判斷。
如此，即使例如太陽光變暗而道路面212和中心線210的亮度多少發(fā)生變化，并且即使太陽光逐漸變強或變?nèi)醯那闆r下，可以恰當?shù)貙?dǎo)出白平衡補償值。
白平衡補償執(zhí)行單元164對由亮度獲取單元16獲取的亮度進行基于白平衡補償值的白平衡補償而導(dǎo)出補償亮度。
位置信息獲取單元166根據(jù)后述的特定物初步確定單元170的控制指令，使用立體視覺法將距離圖像126中的檢測區(qū)域122內(nèi)的每個區(qū)塊的視差信息變換為包含水平距離 X、高度I以及相對距離z的三維位置信息。在此，視差信息表示距離圖像126中的各個對象部位的視差，而三維位置信息表示實際空間中的各個對象部位的相對距離的信息。因此， 在使用的術(shù)語中，相對距離、高度是指實際空間上的距離，檢測距離是指距離圖像126上的距離。而且，當視差信息并非以像素單位，而是以區(qū)塊單位(即，以多個像素為單位)被導(dǎo)出時，該視差信息被視為屬于區(qū)塊的所有像素的視差信息，從而能夠執(zhí)行像素單位的計算。
圖6為用于說明通過位置信息獲取單元166變換為三維位置信息的說明圖。位置信息獲取單元166首先將距離圖像126識別為如圖6所示的像素單位的坐標系。這里，在圖6中，將左下角設(shè)定為原點(0，0)，橫向方向設(shè)定為i坐標軸，縱向方向設(shè)定為j坐標軸。 因此，具有視差dp的像素能夠由像素位置i、j和視差dp表示為(i, j, dp)。
將本實施方式中的實際空間上的三維坐標系假設(shè)為以車輛I為中心的相對坐標系。在此，將車輛I的行進方向右側(cè)方設(shè)定為X軸的正方向，車輛I的上方設(shè)定為Y軸的正方向，車輛I的行進方向(前方)設(shè)定為Z軸的正方向，經(jīng)過兩個攝像裝置110的中央的鉛直線和道路表面的交點作為原點(0，0，0)。此時，假設(shè)道路為平面時，道路表面與X-Z平面 (y=0) 一致。位置信息獲取單元166通過以下的數(shù)學(xué)式I 數(shù)學(xué)式3將距離圖像126上的區(qū)塊坐標(i，j，dp)變換為實際空間上的三維的點坐標(X，y, z)。
x=CD/2+z · Pff · (1-1V) . ·.數(shù)學(xué)式 I
y=CH+z · Pff · (j-JV) ...數(shù)學(xué)式 2
z=KS/dp...數(shù)學(xué)式 3
在此，⑶為攝像裝置110之間的間隔(基線長度)，PW為每一個像素的視角，CH為攝像裝置110自道路表面的布置高度，IV、JV為車輛I的正面方向無限遠端的圖像上的坐標(像素)，KS為距離系數(shù)(KS =⑶/PW)。
因此，位置信息獲取單元166基于對象部位的相對距離、與對象部位位于相同的CN 102975677 A書明說10/16 頁
相對距離的道路表面上的點與對象部位之間的在距離圖像126上的檢測距離，導(dǎo)出自道路表面的高度。
亮度特定單元168參照基于位置信息獲取單元166的對象部位的三維坐標，從由亮度獲取單元160獲取的亮度中提取道路面212和中心線210，特定道路面212的亮度以及作為參照部位的中心線210的亮度。具體而言，亮度特定單元168首先提取中心線210， 并將該中心線210的鄰近區(qū)域作為道路面212。鄰近區(qū)域為離提取中心線210的亮度的位置小于預(yù)定距離的區(qū)域，至少為與高度I相關(guān)的鄰近的區(qū)域。然后，為了在下次作為上一次值和上上一次值而被白平衡導(dǎo)出單元162所利用，將特定的道路面212的亮度以及中心線 210的亮度存儲到數(shù)據(jù)存儲單元152。
并且，在本實施方式中，通過求出檢測區(qū)域122中的預(yù)定的第一部分區(qū)域的不同時刻的、道路面212的亮度以及中心線210的亮度，由此導(dǎo)出其變化。但是，并不局限于這種情況，例如可以通過分別求出檢測區(qū)域122中的預(yù)定的第一部分區(qū)域和檢測區(qū)域122中的與第一部分區(qū)域沿高度y方向(圖像垂直方向)分隔的第二部分區(qū)域中的道路面212的亮度以及參照部位的亮度，由此導(dǎo)出其變化。此時，可以同時檢測出道路的不同區(qū)域(第一部分區(qū)域和第二部分區(qū)域)，因此即使車輛I處于停車狀態(tài)，也可以提取道路的亮度的變化。并且，將這種部分區(qū)域進一步地設(shè)置為多個，計算各自的變化，由此可謀求特定精度的提聞。
并且，這里，在道路面212和中心線210的區(qū)域中，分別特定一個對象部位的亮度， 但是并不局限于這種情況，也可以將作為目標的對象部位周圍中的多個對象部位組合之后進行評價，將其平均值特定為亮度。如此，可以抑制亮度的離差，高精度地判斷亮度的變化。
并且，亮度特定單元168特定關(guān)于與道路面212相當?shù)膮^(qū)域的任意對象部位的亮度，但是也可以基于前行車輛或車輛前方的特定物的位置，將設(shè)定其任意的對象部位的范圍指定為被限制在鉛直方向的預(yù)定區(qū)域。
圖7為用于說明亮度特定單元168的動作的說明圖。在圖7中，將從本車輛I (檢測區(qū)域下端)至前行車輛214與本車輛I的檢測距離D的中心C的、畫出陰影線的區(qū)域作為預(yù)定區(qū)域216。據(jù)此，亮度特定單元168特定預(yù)定區(qū)域216內(nèi)的道路面212以及中心線 210的亮度。
在此，當沒有檢測出前行車輛或車輛前方的特定物時，將從檢測區(qū)域122下端至將與無限遠點相當?shù)奈恢门c檢測區(qū)域122下端之間的距離除以2的位置作為預(yù)定區(qū)域216。 如此，通過將設(shè)定對象部位的區(qū)域限制在預(yù)定區(qū)域216，可防止亮度的錯誤檢測。
特定物初步確定單元170基于存儲在數(shù)據(jù)存儲單元152的特定物表格200，從被白平衡執(zhí)行單元164執(zhí)行過白平衡補償?shù)膶ο笪锏难a償亮度初步確定對應(yīng)于對象物的特定物。
具體來說，特定物初步確定單元170首先使亮度獲取單元160獲取亮度圖像124 上的任意對象部位的亮度。接著，特定物初步確定單元170從登記在特定物表格200的特定物順序地選擇出任意的特定物，判斷獲取的一個對象部位的補償亮度是否包含于順序地選擇出的特定物的亮度范圍202。然后，若包含于成為對象的亮度范圍202之內(nèi)，則對該對象部位賦予表示該特定物的識別號，并制作特定物映射圖。
特定物初步確定單位170對于多個對象部位的每一個順序進行這種各個對象部13位的補償亮度與登記在特定物表格200上的多個特定物的亮度范圍202之間的一系列的比較。在此，特定物的選擇順序遵從如上所述地表示在特定物表格200上的優(yōu)先順序。SP， 圖4的特定物表格200的例中，以“信號燈(紅)”、“信號燈(黃)”、“信號燈(藍)”、“尾燈 (紅)”、“轉(zhuǎn)向指示燈(橙)”、“道路標識(紅)”、“道路標識(藍)”、“道路標識(綠)”順序執(zhí)行比較處理。
而且，按照所述優(yōu)先順序比較的結(jié)果，判斷為對象部位的補償亮度包含于優(yōu)先順序高的特定物的亮度范圍202時，就不會執(zhí)行有關(guān)優(yōu)先順序低于它的特定物的比較處理。 因此，對于一個對象部位最多賦予一個表示特定物的識別號。這是因為，由于多個特定物不會在空間上重疊，因此由特定物初步確定單元170 —旦判斷為任意的特定物的對象物就沒有必要判斷是否會是其他特定物。如此，通過排他性地處理對象部位，能夠避免對已經(jīng)被初步確定為特定物的對象部位的重復(fù)的特定處理，從而能夠減輕處理負荷。
圖8為用于說明特定物映射圖220的說明圖。特定物映射圖220是在亮度圖像124 中疊加特定物的識別號的圖，在相當于被初步確定為特定物的對象部位的位置對應(yīng)賦予有該特定物的識別號。
例如，特定物映射圖220中的局部映射圖220a中，相當于前行車輛的尾燈的多個對象部位222的補償亮度以特定物“信號燈(紅)”、“信號燈(黃)”、“信號燈(藍)”的順序與亮度范圍202進行比較，最終對應(yīng)賦予有“尾燈(紅)”的識別號“4”。而且，特定物映射圖220中的局部映射圖220b中，相當于信號燈的右側(cè)點亮部分的多個對象部位224的補償亮度被包含于特定物“信號燈(紅)”的亮度范圍202，因此對應(yīng)賦予有特定物“信號燈 (紅)”的識別號“I”。進一步，特定物映射圖220中的局部映射圖220c中，相當于前行車輛的背面燈單元的多個對象部位226的補償亮度以特定物“信號燈(紅)”、“信號燈(黃)”、 “信號燈(藍)”的順序與亮度范圍202進行比較，最終對應(yīng)賦予特定物“尾燈(紅)”的識別號“4”以及“轉(zhuǎn)向指示燈(橙)”的識別號“5”。圖8中示出亮度圖像124的多個對象部位上被賦予識別號的圖，但這種表示僅僅是為便于理解的概念性表示，實際上，在對象位置上用數(shù)據(jù)登記識別號。
群組化單元172以初步確定的任意的對象部位為基準點，將該對象部位和水平距離X的差值以及高度I的差值在預(yù)定范圍內(nèi)的、初步確定為對應(yīng)于相同特定物(被賦予相同的識別號)的對象部位群組化，作為對象物。在此，預(yù)定范圍用實際空間上的距離表示， 且可以設(shè)定為任意的值(例如I. Om等)。而且，群組化單元172對于通過群組化而新增加的對象部位，也以該對象部位為基準點，將水平距離X的差值以及高度I的差值在預(yù)定范圍內(nèi)的、特定物相同的對象部位群組化。其結(jié)果,若被初步確定為同一特定物的對象部位之間的距離在預(yù)定范圍之內(nèi)，則這些全部被群組化。
在此，群組化單元172使用實際空間上的水平距離或高度進行判斷，但當利用亮度圖像124或距離圖像126上的檢測距離判斷時，用于群組化的預(yù)定范圍的閾值會根據(jù)對象部位的相對距離而變化。如圖2等所示，亮度圖像124或距離圖像126中，由于遠近的物體都被表示在平面上，因此位于主體的遠處的物體被表示得小(短)，位于附近的物體被表示得大(長)。因此，亮度圖像124或距離圖像126中的預(yù)定范圍的閾值，例如對于位于遠處的對象部位設(shè)定的較短，對于位于附近的對象部位設(shè)定得較長。由此，在遠處和附近的檢測距離不同時，也能夠?qū)崿F(xiàn)穩(wěn)定的群組化。
而且，在上述的水平距離X的差值和高度y的差值的基礎(chǔ)上，群組化單元172還可以將相對距離z的差值也處于預(yù)定范圍之內(nèi)的、初步確定為對應(yīng)于同一特定物的對象部位群組化。在實際空間中，即使水平距離X和高度I近似，但相對距離Z相隔較遠時，可推斷為是不同的對象物。因此，當水平距離X、高度I以及相對距離Z中的任意一個相隔較遠時， 將其對象部位的群組視為獨立的對象物。由此，能夠?qū)崿F(xiàn)高精度的群組化。
而且，在此分別獨立判斷水平距離X的差值、高度y的差值以及相對距離z 的差值，且僅在所有差值被包含在預(yù)定范圍時才作為同一群組，但還可以依據(jù)其他的計算。例如，當水平距離X的差值、高度y的差值以及相對距離Z的差值的歐氏距離^/((水平距離X的差值)2 +(高度y的差值)2 +(相對Jfti離z的差值)2)被包含于預(yù)定范圍之內(nèi)時，也可以作為同一群組。通過所述計算，能夠?qū)С鰧ο蟛课辉趯嶋H空間上的正確的彼此距離，能夠提高群組化精度。
當群組化單元172群組化的對象物滿足預(yù)定的條件時，特定物確定單元174將該對象物確定為特定物。例如，如圖4所示，在特定物表格200中對應(yīng)賦予有幅度范圍204時， 特定物確定單元174基于特定物表格200，若對象物的大小(對象物的水平距離X的幅度以及高度I的幅度中的任意一個)被包含于針對對象物初步確定的特定物的幅度范圍204之中，則將該對象物確定為成為對象的特定物。并且，可以分別對對象物的水平距離X的幅度以及高度I的幅度設(shè)定幅度范圍204。在此，將對象物視為特定物時，確認是否具有適當?shù)拇笮　Ｒ虼?，當未被包含于幅度范?04時，可以作為對于該環(huán)境識別處理無用的信息而剔除。
因此，在環(huán)境識別裝置130中，能夠從亮度圖像124提取一個或多個對象物作為特定物，并能夠?qū)⒃撔畔?yīng)用于各種控制。例如，通過提取特定物“信號燈(紅)”，能夠了解到該對象物是不移動的固定的物體的同時，若該對象物是與本車輛車道有關(guān)的信號燈，則能夠了解本車輛I應(yīng)停止或減速。而且，通過提取特定物“尾燈(紅)”，能夠了解該處有與本車輛I共同行使的前行車輛，且該前行車輛的背面位于特定物“尾燈(紅)”的相對距離。
當特定物確定單元174所確定的特定物例如為“標識”，且假設(shè)其中標記有限制速度時，圖案匹配單元176進一步對所標記的數(shù)值執(zhí)行圖案匹配，并特定該數(shù)值。由此，環(huán)境識別裝置130能夠識別本車輛車道的限制速度等。
在本實施方式中，首先通過特定物確定單元174提取被限定為多個的特定物，并只進行與該提取的特定物的圖案匹配即可。因此，與以往的對亮度圖像124全面進行圖案匹配相比，處理負荷顯著地減少。
(環(huán)境識別方法)
以下，參照圖9至圖14的流程圖說明環(huán)境識別裝置130的具體的處理。圖9示出關(guān)于從圖像處理裝置120接收到距離圖像(視差信息)126時的中斷處理的整個流程，圖10 至圖14示出其中的個別的子程序。而且，在此，例舉像素作為對象部位，并將亮度圖像124 和距離圖像126的左下角作為原點，且在圖像的水平方向的I 600像素、垂直方向的I 200像素的范圍執(zhí)行依照該環(huán)境識別方法的處理。而且，在此，假設(shè)成為對象的特定物的數(shù)量為八個。進一步，作為參照部位假設(shè)可以舉出利用中心線210的例子。
如圖9所示，以距離圖像126的接收信號為契機，產(chǎn)生依照該環(huán)境識別方法的中斷時，導(dǎo)出白平衡補償值，以能夠?qū)⒌缆访娴牧炼茸R別為預(yù)定顏色(灰色)(S300)，從圖像處理裝置120獲取的亮度圖像124由該白平衡補償值補償而生成特定物映射圖(S302)。
然后，初步確定的對象物被群組化(S304)，被群組化的對象物被確定為特定物 (S306)。若有必要從被確定的特定物進一步獲取信息，則通過圖案匹配單元176執(zhí)行特定物的圖案匹配(S308)，并特定用于白平衡補償值導(dǎo)出處理S300的道路面212和中心線210 的亮度(S310)。以下，具體說明上述的處理。
(白平衡補償值導(dǎo)出處理S300)
參照圖10，白平衡導(dǎo)出單元162首先讀取存儲在數(shù)據(jù)存儲單元152的上一次獲得的道路面212的亮度以及中心線210的亮度和上上一次獲得的道路面212的亮度以及中心線210的亮度(S350)。然后，從上一次獲得的道路面212的亮度以及中心線210的亮度減去上上一次獲得的道路面212的亮度以及中心線210的亮度，從而導(dǎo)出道路面212的亮度的差值以及中心線210的亮度的差值。
接著，白平衡導(dǎo)出單元162判斷道路面212的亮度的差值為第一預(yù)定值以上，中心線210的亮度的差值為小于第二預(yù)定值，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)的情況(S354)。此時，如果道路面212的亮度的差值為第一預(yù)定值以上，中心線 210的亮度的差值為小于第二預(yù)定值，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)，則白平衡導(dǎo)出單元162開啟(ON)異色道路標志(S356)，維持上一次的白平衡補償值 (S358)。在此，異色道路標志為表示異色道路的標志，移動到異色道路之后，直至返回到通常道路為止一直維持。
并且，如果不滿足道路面212的亮度的差值為第一預(yù)定值以上、中心線210的亮度的差值為小于第二預(yù)定值、上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)中的任意一個條件(S354中的“否”)，則判斷異色道路標志被開啟(ON)，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)的情況(S360中的“是”)。此時，如果異色道路標志被開啟，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)(S360中的“是”)，則白平衡導(dǎo)出單元162識別為異色道路繼續(xù)存在，維持上一次的白平衡補償值(S358)。即，不進行存儲于數(shù)據(jù)存儲單元152的白平衡補償值的更新。
并且，如果不滿足異色道路標志被開啟、上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)中的任意一個條件(S360中的“否”)，則識別為移動到了通常道路，關(guān)閉 (OFF)異色道路標志(S362)。然后，白平衡導(dǎo)出單元162讀取存儲在數(shù)據(jù)存儲單元152的上一次獲得的道路面212的亮度，導(dǎo)出白平衡補償值(S364)。例如，白平衡導(dǎo)出單元162求出道路面的每個色相的亮度的最大值，將使與亮度為最大值的色相不同的色相的亮度變成最大值的比率設(shè)為白平衡補償值。然后，將被導(dǎo)出的白平衡補償值存儲到數(shù)據(jù)存儲單元152。
(特定物映射圖生成處理S302)
參照圖11，白平衡執(zhí)行單元164從數(shù)據(jù)存儲單元152讀取由白平衡導(dǎo)出單元162 導(dǎo)出的白平衡補償值(S400)。特定物初步確定單元170初始化(代入“O”)用于特定對象部位(像素)的垂直變量j (S402)。接著，特定物初步確定單元170在垂直變量j上加 “I”(累加)的同時初始化水平變量i (代入“O”)(S404)。然后，特定物初步確定單元170 在水平變量上加“1”，并初始化特定物變量m (代入“O”)(S406)。在此，設(shè)定水平變量i和垂直變量j是為了對整個600 X 200的像素執(zhí)行該特定物映射圖生成處理，設(shè)定特定物變量m是為了對每個像素順序地比較八個特定物。
接著，白平衡執(zhí)行單元164向由亮度獲取單元160獲取的亮度實施基于白平衡補償值的白平衡補償而導(dǎo)出補償亮度(S408)。
特定物初步確定單元170使亮度獲取單元160從亮度圖像124中獲得作為對象部位的像素(i，j)的補償亮度(3410)，并在特定物變量111中加“1”(3412)，獲得特定物(m)的亮度范圍202(S414)，并判斷像素(i，j)是否被包含在特定物(m)的亮度范圍202(S416)。
若像素(i，j)的補償亮度被包含于特定物(m)的亮度范圍202(S416的“是”)， 則特定物初步確定單元170對于該像素對應(yīng)地賦予表示特定物(m)的識別號P而變成像素 (i，j，p) (S418)。由此，生成對亮度圖像124中的各個像素賦予識別號的特定物映射圖210。 而且，若像素(i，j)的補償亮度未包含在特定物(m)的亮度范圍202(S416的“否”)，則判斷特定物變量m是否超過作為特定物的最大數(shù)量的8 (S420)。在此，若特定物變量m并未超過最大值(S420的“否”)，則從步驟S412的特定物變量m的累加處理開始重復(fù)執(zhí)行。而且，若特定物變量m超過最大值(S420的“是”)，則認為對應(yīng)于該像素(i，j)的特定物不存在，處理轉(zhuǎn)到下一步驟S422。
接著，特定物初步確定單元170判斷水平變量i是否超過作為水平像素的最大值的600 (S422)，若水平變量i并沒有超過最大值(S422的“否”)，則從步驟406的水平變量 i的累加處理開始重復(fù)執(zhí)行。而且，若水平變量i超過最大值(S422中的“是”)，則特定物初步確定單元170判斷垂直變量j是否超過作為垂直像素的最大值的200 (S424)。接著，若垂直變量j并沒有超過最大值(S424的“否”)，則從步驟S404的垂直變量j的累加處理開始重復(fù)執(zhí)行。而且，若垂直變量j超過最大值(S424的“是”)，則終止該特定物映射圖的生成處理。據(jù)此，初步確定對應(yīng)于各個像素的特定物。
(群組化處理S304)
參照圖12，群組化單元172參照用于群組化對象部位的預(yù)定范圍(S450)，初始化 (代入“O”)用于特定對象部位(像素)的垂直變量j (S452)。接著，群組化單元172在垂直變量j上加“I”的同時初始化(代入“O”)水平變量i(S454)。接著，群組化單元172在水平變量i上加“I”(S456)。
群組化單元172從亮度圖像124獲取作為對象部位的像素(i，j，P，dp, x, y，z) (S458)。然后，判斷該像素(i，j, p，dp, x, y，z)上是否對應(yīng)賦予特定物的識別號p (S460)。 在此，若對應(yīng)賦予識別號P(S460的“是”)，則群組化單元172判斷在該像素(i，j，p，dp，x， y，z)的實際空間上的坐標(X，y，z)的預(yù)定范圍之內(nèi)是否存在對應(yīng)賦予相同的識別號P的其他像素(i，j，P，dp, x, y, z) (S462)。
若存在識別號相同的其他像素(i，j，P，dp，X，y，z) (S462的“是”)，則群組化單元 172判斷包括自身的預(yù)定范圍內(nèi)的所有像素的任意像素是否被賦予了群組號g(S464)。若任意一個像素被賦予群組號g(S464中的“是”)，則群組化單元172對于包含于預(yù)定范圍內(nèi)的所有像素及被賦予相同的群組號g的所有像素，賦予所賦予的群組號中最小的群組號g 以及還沒有用作群組號的號中的最小值中的相對小的一個值，從而變成像素(i，j，p，dp，x， y, z, g) (S466)。而且，若任意一個像素均未被賦予群組號g(S464的“否”)，則對包含自身的預(yù)定范圍內(nèi)的所有像素新賦予還沒有用作群組號的號中的最小值(S468)。
由此，當識別號相同的對象部位在預(yù)定范圍之內(nèi)存在多個時，通過賦予一個群組號g而執(zhí)行群組化。此時，當多個對象部位的任意一個均未被賦予群組號g時，賦予新的群組號，當多個對象部位的某些已經(jīng)被賦予群組號g時，賦予與此相同的群組號g。但是，當多個對象部位中存在多個群組號g時，因為應(yīng)視為一個群組，因此將該對象部位的所有的群組號g置換為一個群組號g。
此時，不僅對被包含于預(yù)定范圍之內(nèi)的所有的像素，還對被賦予相同的群組號g 的所有像素的群組號g進行一次性變更的理由在于通過群組號g的變更，避免已經(jīng)被統(tǒng)一的群組分離。而且，在最小的群組號g以及還未用作群組號的號中的最小值中采用相對小的一個值的理由在于對組標號時，盡可能避免出現(xiàn)空號。據(jù)此，防止群組號g的最大值無端地變大，從而能夠減輕處理負荷。
若沒有對應(yīng)賦予識別號p(S460的“否”)，或者不存在識別號P相同的其他像素 (S462的“否”)，則轉(zhuǎn)移到下一步驟S470。
接著，群組化單元166判斷水平變量i是否超過作為水平像素的最大值的 600 (S470)，若水平變量i并沒有超過最大值(S470的“否”)，則從步驟S456的水平變量i 的累加處理開始重復(fù)執(zhí)行。而且，若水平變量i超過最大值(S470的“是”)，則群組化單元 166判斷垂直變量j是否超過作為垂直像素的最大值的200(S472)。然后，若垂直變量j沒有超過最大值(S472中的“否”)，則從步驟S454的垂直變量j的累加處理開始重復(fù)。而且， 若垂直變量j超過最大值(S472的“是”)，則終止該群組化處理。
(特定物確定處理S306)
參照圖13，特定物確定單元174初始化(代入“O”)用于特定群組的群組變量 k(S500)。接著，特定物確定單元174在群組變量k上加“I”(S502)。
特定物確定單元174判斷亮度圖像124中是否存在群組號g為群組變量k的對象物(S504)，若存在(S504的“是”)，則計算被賦予該群組號g的對象物的大小(S506)。接著，判斷所計算出的大小是否被包含在以對群組號g為群組變量k的對象物對應(yīng)賦予的識別號P表示的特定物的幅度范圍204(S508)。
若大小被包含于以識別號P表示的特定物的幅度范圍204(S508的“是”)，則特定物確定單元174將該對象物確定為特定物(S510)。若大小未包含于以識別號P表示的特定物的幅度范圍204(S508的“否”)，或不存在群組號g為群組變量k的對象物時(S504的 “否”)，處理轉(zhuǎn)移到下一步驟S512。
接著，特定物確定單元174判斷群組變量k是否超過群組化處理中設(shè)定的群組號的最大值(S512)。然后，若群組變量k沒有超過最大值(S512中的“否”)，則從步驟S502的群組變量k的累加處理開始重復(fù)執(zhí)行。而且，若群組變量k超過最大值(S512中的“是”)， 則終止該特定物確定處理。據(jù)此，被群組化的對象物正式被確定為特定物。
(白平衡準備處理S310)
參照圖14，亮度特定單元168基于前行車輛或車輛I前方的特定物的位置導(dǎo)出被限制在鉛直方向的預(yù)定區(qū)域216，并將該預(yù)定區(qū)域216內(nèi)的道路面212的任意的對象部位設(shè)定為檢測對象(S550)。接著，亮度特定單元168參照基于位置信息獲取單元166的對象部位的相對距離，從由亮度獲取單元160獲取的亮度中提取道路面212以及中心線210，并特定道路面212的亮度以及作為參照部位的中心線210的亮度(S552)。然后，為了在下次由白平衡導(dǎo)出單元162所利用，將被特定的道路面212的亮度以及中心線210的亮度存儲到數(shù)據(jù)存儲單元152(S554)。
如上所述，根據(jù)環(huán)境識別裝置130，能夠高精度地檢測出道路面的亮度的變化是因環(huán)境光而引起的還是因道路面212本身的著色而引起的，而且能夠在避免隨之而產(chǎn)生的響應(yīng)延遲的情況下，恰當?shù)貙崿F(xiàn)白平衡補償。
而且，還提供使計算機執(zhí)行環(huán)境識別裝置130的功能的程序或記錄該程序的計算機可讀軟盤、光磁盤、ROM、CD、DVD、BD等記錄介質(zhì)。在此，程序是利用任意的語言或記述方法記述的數(shù)據(jù)處理方法。
以上的說明中，參照附圖對本發(fā)明的優(yōu)選實施方式進行了說明，但是本發(fā)明并不局限于已說明的實施方式。本發(fā)明所屬領(lǐng)域的技術(shù)人員應(yīng)知道在權(quán)利要求書所記載的范疇之內(nèi)導(dǎo)出各種變更例或修改例是顯而易見的，但顯然這些都屬于本發(fā)明的技術(shù)范圍。
在上述的實施方式中，首先排他性地將對象部位的補償亮度與任意一個特定物賦予對應(yīng)，然后判斷將對象部位群組化的對象物的大小作為特定物是否恰當。但是，不限于這種情況，也可以將特定物、補償亮度、大小中的任意一個作為基準進行判斷，且其判斷順序也可以任意地設(shè)定。
而且，在上述實施例中，基于利用多個攝像裝置110的圖像數(shù)據(jù)之間的視差導(dǎo)出對象物的三維位置，但并不局限于所說明的情況，例如，可以利用激光雷達測距裝置等已知的各種距離測量裝置。在此，激光雷達測距裝置通過向檢測區(qū)域122發(fā)射激光光束，并接收該激光光束到達物體之后反射的光，從而根據(jù)所需時間測量至物體的距離。
而且，在上述的實施方式中，舉出位置信息獲取單元166從圖像處理裝置120接收距離圖像(視差信息)126而生成三維位置信息的例子。但是，并不局限于所說明的情況， 也可以由圖像處理裝置120預(yù)先生成三維的位置信息，再由位置信息獲取單元166獲取所生成的三維位置信息。據(jù)此，實現(xiàn)功能的分散，能夠減輕環(huán)境識別裝置130的處理負荷。
并且，在上述的實施方式中，亮度獲取單元160、白平衡導(dǎo)出單元162、白平衡執(zhí)行單元164、位置信息獲取單元166、亮度特定單元168、特定物初步確定單元170、群組化單元 172、特定物確定單元174、圖案匹配單元176由中央控制單元154通過軟件運行。但是，上述的功能單元也可以由硬件構(gòu)成。
并且，特定物確定單元174基于例如對象物的大小被包含于特定物的幅度范圍 202的情況來確定特定物，但并不局限于此，也可以在滿足其他各種條件時確定為特定物。 例如，對象物中的水平方向和鉛直方向的相對距離z的推移幾乎相等(連續(xù))時或相對于z 坐標的相對移動速度相同時確定為特定物。此時，對象物中的水平方向及鉛直方向的相對距離z的推移可根據(jù)借助霍夫變換或最小平方法的近似直線確定。
在此，本說明書中的環(huán)境識別方法的各個步驟并不一定要按照流程圖中記載的順序按時間順序進行處理，也可以包含并行處理或通過子程序的處理。
產(chǎn)業(yè)上的可利用性
本發(fā)明可利用于基于檢測區(qū)域中的對象物的亮度來識別該對象物的環(huán)境識別裝置及環(huán)境識別方法。
權(quán)利要求
1.ー種環(huán)境識別裝置，其特征在于，包括 數(shù)據(jù)存儲単元，對應(yīng)地存儲亮度的范圍和特定物； 売度獲取單兀，獲取存在于檢測區(qū)域內(nèi)的對象部位的売度； 亮度特定単元，從所獲取的所述亮度中特定道路面的亮度以及所述道路面以外的預(yù)定的參照部位的亮度； 白平衡導(dǎo)出單元，導(dǎo)出白平衡補償值，以使所述道路面的亮度能夠被識別為預(yù)定顏色； 白平衡執(zhí)行單元，對所獲取的所述亮度實施基于所述白平衡補償值的白平衡補償而導(dǎo)出補償亮度； 特定物初歩確定單元，基于所述數(shù)據(jù)存儲単元所存儲的亮度的范圍與特定物之間的對應(yīng)關(guān)系，從所述對象部位的補償亮度初步確定對應(yīng)于所述對象部位的特定物， 當在所述參照部位的亮度變化沒有達到第二預(yù)定值以上的狀態(tài)下，所述道路面的亮度變化達到第一預(yù)定值以上，且所述道路面的變化后的亮度不是所述預(yù)定顏色時，所述白平衡導(dǎo)出単元從變化時間點開始至所述道路面的亮度返回到所述預(yù)定顏色為止維持變化之前的白平衡補償值。
2.如權(quán)利要求I所述的環(huán)境識別裝置，其特征在于，所述參照部位為所述檢測區(qū)域內(nèi)的道路面上的限制行駛路的線。
3.如權(quán)利要求2所述的環(huán)境識別裝置，其特征在干，所述道路面基于所述參照部位設(shè)為所述參照部位的鄰近區(qū)域。
4.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在于，所述白平衡導(dǎo)出單元通過求出所述檢測區(qū)域中的預(yù)定的第一部分區(qū)域的不同時刻的、所述道路面的亮度以及所述參照部位的亮度而導(dǎo)出道路面的亮度的變化。
5.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在于，所述白平衡導(dǎo)出單元通過分別求出所述檢測區(qū)域中的預(yù)定的第一部分區(qū)域和所述檢測區(qū)域中的與所述第一部分區(qū)域沿高度方向分隔的第二部分區(qū)域的所述道路面的亮度以及所述參照部位的亮度而導(dǎo)出道路面的亮度的變化。
6.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在干，當所述道路面的亮度為最大或最小的色相中每ー個的差值之間的差值為第三預(yù)定值以上時，所述白平衡導(dǎo)出単元判斷為亮度發(fā)生了變化。
7.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在于，所述白平衡導(dǎo)出單元求出所述道路面的每個色相的亮度的最大值，將使與所述亮度為最大值的色相不同的色相的亮度變成所述最大值的比率設(shè)為所述白平衡補償值。
8.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在于，所述白平衡導(dǎo)出單元求出所述道路面的每個色相的亮度為第二大的值，將使與所述亮度為第二大的色相不同的色相的亮度變成所述第二大的值的比率設(shè)為所述白平衡補償值。
9.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在于，所述白平衡導(dǎo)出單元求出所述道路面的每個色相的亮度的最小值，將使與所述亮度為最大值的色相不同的色相的亮度變成所述最小值的比率設(shè)為所述白平衡補償值。
10.如權(quán)利要求I至3中任意ー項所述的環(huán)境識別裝置，其特征在于，所述亮度特定單元從所述檢測區(qū)域內(nèi)的、基于先行車輛或車輛前方的特定物的位置而被限制在鉛直方向的預(yù)定區(qū)域特定所述道路面的亮度和所述參照部位的亮度。
11.ー種環(huán)境識別方法，其特征在干， 獲取存在于檢測區(qū)域內(nèi)的對象部位的亮度； 從所獲取的所述亮度中特定道路面的亮度以及所述道路面以外的預(yù)定的參照部位的亮度； 當在所述參照部位的亮度變化沒有第二預(yù)定值以上的狀態(tài)下，所述道路面的亮度變化達到第一預(yù)定值以上，且所述道路面的變化后的亮度不是所述預(yù)定顏色時，從變化時間點開始至所述道路面的亮度返回到所述預(yù)定顏色為止維持變化之前的白平衡補償值，而在除此之外的情況下，導(dǎo)出白平衡補償值，以使所述道路面的亮度被識別為預(yù)定顏色； 對所獲取的所述亮度實施基于所述白平衡補償值的白平衡補償而導(dǎo)出補償亮度； 基于所述數(shù)據(jù)存儲単元所存儲的亮度的范圍與特定物之間的對應(yīng)關(guān)系，從所述對象部位的補償亮度初步確定對應(yīng)于所述對象部位的特定物。
全文摘要
本發(fā)明涉及不伴隨響應(yīng)延遲的情況下恰當?shù)貙崿F(xiàn)白平衡補償?shù)沫h(huán)境識別裝置和環(huán)境識別方法。環(huán)境識別裝置獲取存在于檢測區(qū)域的對象部位的亮度；從獲取的亮度中特定道路面的亮度和參照部位的亮度；當在參照部位的亮度變化沒有達到第二預(yù)定值以上的狀態(tài)下，道路面的亮度變化達到第一預(yù)定值以上，且道路面變化后的亮度不是預(yù)定顏色時，從變化時間點開始至道路面的亮度返回到預(yù)定顏色為止維持變化前的白平衡補償值，此外導(dǎo)出白平衡補償值以使道路面的亮度被識別為預(yù)定顏色；對獲取的亮度實施基于白平衡補償值的白平衡補償而導(dǎo)出補償亮度；基于數(shù)據(jù)存儲單元存儲的亮度范圍與特定物之間的對應(yīng)關(guān)系，從對象部位的補償亮度初步確定對應(yīng)于對象部位的特定物。
文檔編號B60R21/00GK102975677SQ201210138539
公開日2013年3月20日 申請日期2012年5月7日 優(yōu)先權(quán)日2011年5月12日
發(fā)明者木戶辰之輔 申請人:富士重工業(yè)株式會社