本發(fā)明涉及小目標(biāo)檢測的，尤其涉及一種基于多尺度融合的紅外小目標(biāo)檢測方法和系統(tǒng)。

背景技術(shù)：

1、隨著智能化技術(shù)的不斷發(fā)展，紅外圖像的小目標(biāo)檢測技術(shù)在軍事、安防、交通監(jiān)控等領(lǐng)域得到了廣泛的應(yīng)用。紅外圖像能夠在低光照、惡劣天氣等復(fù)雜環(huán)境下獲取物體的熱輻射信息，因此，在目標(biāo)檢測中具有重要的應(yīng)用價值。然而，由于紅外圖像的分辨率通常較低，目標(biāo)體積小且對比度低，使得小目標(biāo)的檢測面臨著諸多挑戰(zhàn)。

2、傳統(tǒng)的小目標(biāo)檢測方法依賴于手工設(shè)計的特征和簡單的圖像處理技術(shù)，如濾波、直方圖均衡化等。這些方法在處理復(fù)雜背景、噪聲干擾以及多尺度目標(biāo)時，往往表現(xiàn)出較大的局限性。傳統(tǒng)的去噪方法如高斯濾波等，在去除噪聲的同時，往往會導(dǎo)致圖像細(xì)節(jié)信息的丟失，從而影響后續(xù)的目標(biāo)檢測效果。現(xiàn)有的圖像增強(qiáng)技術(shù)在多尺度目標(biāo)檢測中表現(xiàn)出不足，無法有效提升小目標(biāo)的顯著性，導(dǎo)致目標(biāo)檢測的召回率和精確度較低。在傳統(tǒng)的目標(biāo)檢測框架中，多尺度特征的提取和融合往往較為簡單，無法充分利用不同尺度特征之間的互補(bǔ)性，導(dǎo)致檢測精度不高。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種基于多尺度融合的紅外小目標(biāo)檢測方法，目的在于在多尺度目標(biāo)檢測中實(shí)現(xiàn)更為精準(zhǔn)的目標(biāo)定位，為紅外小目標(biāo)的檢測提供了更為有效的解決方案。

2、實(shí)現(xiàn)上述目的，本發(fā)明提供的一種基于多尺度融合的紅外小目標(biāo)檢測方法，包括以下步驟：

3、s1：獲取一定量的紅外圖像，對每一幅紅外圖像進(jìn)行人工標(biāo)注，獲得與每一幅紅外圖像對應(yīng)的真實(shí)檢測框；基于紅外圖像和對應(yīng)的真實(shí)檢測框，構(gòu)建訓(xùn)練庫；基于引導(dǎo)濾波方法對獲取的紅外圖像進(jìn)行去噪，獲得去噪后的紅外圖像；

4、s2：使用多尺度圖像增強(qiáng)方法對去噪后的紅外圖像進(jìn)行增強(qiáng)，獲得增強(qiáng)后的紅外圖像；

5、s3：將增強(qiáng)后的紅外圖像輸入基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，獲得預(yù)測檢測框和置信度；

6、s4：使用獲得的預(yù)測檢測框與真實(shí)檢測框進(jìn)行對比，計算總體損失函數(shù)，并對基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，獲得訓(xùn)練完成的基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)；

7、s5：使用訓(xùn)練完成的基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，對未標(biāo)注的紅外圖像進(jìn)行目標(biāo)檢測，所述未標(biāo)注的紅外圖像為沒有人工標(biāo)注真實(shí)檢測框的紅外圖像，并使用非極大值抑制方法獲得最終目標(biāo)檢測框。

8、可選地，所述s1包括以下步驟：

9、基于引導(dǎo)濾波方法構(gòu)建滑動窗口內(nèi)的線性關(guān)系，獲得去噪后的紅外圖像，具體為：

10、所述滑動窗口遍歷紅外圖像中每一個像素位置，并提取以像素位置為中心，的窗口內(nèi)包含的像素用于線性關(guān)系的構(gòu)建，為窗口尺寸，所述線性關(guān)系具體為：

11、；

12、其中，為去噪后的紅外圖像在像素位置處的像素值；為紅外圖像在像素位置處的像素值；和分別為像素位置處的斜率和偏移，具體為：

13、；

14、；

15、其中，為窗口內(nèi)像素的總數(shù)；為以像素位置為中心，的窗口內(nèi)包含的像素位置集合；為中包含的像素位置；為以像素位置為中心，的窗口內(nèi)包含的像素位置集合；為中包含的像素位置所對應(yīng)的像素值的方差；為規(guī)整化因子；為中包含的像素位置所對應(yīng)的像素值的均值；

16、可選地，所述s2包括以下步驟：

17、s21：基于去噪后的紅外圖像，進(jìn)行多尺度高斯模糊：

18、使用三種不同尺度的高斯核對去噪后的紅外圖像進(jìn)行高斯模糊，高斯核的方差分別為1、2和4，獲得對應(yīng)的高斯模糊后的紅外圖像、和；

19、s22：進(jìn)行多尺度圖像增強(qiáng)：

20、可選地，所述s22包括以下步驟：

21、s221：基于不同尺度高斯模糊后的紅外圖像提取多尺度細(xì)節(jié)，所述多尺度細(xì)節(jié)具體為：

22、；

23、其中，、和分別為最優(yōu)細(xì)節(jié)圖、中等細(xì)節(jié)圖和粗糙細(xì)節(jié)圖；

24、s222：進(jìn)行多尺度細(xì)節(jié)融合，獲得融合后的細(xì)節(jié)圖：

25、；

26、其中，為融合后的細(xì)節(jié)圖在像素位置處的像素值；、和分別為最優(yōu)細(xì)節(jié)圖、中等細(xì)節(jié)圖和粗糙細(xì)節(jié)圖在像素位置處的像素值；、和為細(xì)節(jié)控制權(quán)重，分別控制最優(yōu)細(xì)節(jié)圖、中等細(xì)節(jié)圖和粗糙細(xì)節(jié)圖在融合后的細(xì)節(jié)圖中的權(quán)重；為符號函數(shù)，當(dāng)在大于0、等于0和小于0時分別為1、0和-1；

27、s223：基于融合后的細(xì)節(jié)圖，對去噪后的紅外圖像進(jìn)行增強(qiáng)，獲得增強(qiáng)后的紅外圖像：

28、；

29、其中，為增強(qiáng)后的紅外圖像；為雙邊濾波函數(shù)；

30、可選地，所述s3包括以下步驟：

31、s31：將增強(qiáng)后的紅外圖像輸入基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，獲得多尺度融合后的特征圖：

32、所述基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)為ssd目標(biāo)檢測網(wǎng)絡(luò)，將增強(qiáng)后的紅外圖像輸入使用vgg-16網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)的ssd目標(biāo)檢測網(wǎng)絡(luò)，選取vgg-16網(wǎng)絡(luò)的三個不同尺度的特征圖分配權(quán)重并進(jìn)行多尺度融合，獲得多尺度融合后的特征圖，具體方式為：

33、；

34、其中，為多尺度融合后的特征圖；、和分別為vgg-16網(wǎng)絡(luò)的conv3_3、conv_4_3和conv_7_2所對應(yīng)的特征圖；函數(shù)將、和采樣到固定的長度和寬度，為；、和分別為、和的融合權(quán)重，作為目標(biāo)檢測網(wǎng)絡(luò)參數(shù)的構(gòu)成部分通過網(wǎng)絡(luò)的訓(xùn)練獲??；為按通道維度拼接的拼接函數(shù)；

35、s32：基于多尺度融合后的特征圖，進(jìn)行目標(biāo)檢測：

36、將多尺度融合后的特征圖輸入至ssd目標(biāo)檢測網(wǎng)絡(luò)的檢測器中，獲得預(yù)測出的檢測框和置信度；

37、可選地，所述s4包括以下步驟：

38、s41：使用預(yù)測檢測框與真實(shí)的檢測框進(jìn)行對比，計算總體損失函數(shù)：

39、ssd目標(biāo)檢測網(wǎng)絡(luò)的總體損失函數(shù)的損失值由置信損失值和定位損失值構(gòu)成，具體為：

40、；

41、其中，為ssd目標(biāo)檢測網(wǎng)絡(luò)的置信損失值；為改進(jìn)的定位損失值；為定位損失權(quán)重；

42、s42：進(jìn)行基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)的參數(shù)更新：

43、將訓(xùn)練庫中的每一幅紅外圖像進(jìn)行步驟s1-s3的處理，獲得預(yù)測檢測框，并使用對應(yīng)的真實(shí)檢測框計算總體損失函數(shù)；

44、計算訓(xùn)練庫中的所有紅外圖像對應(yīng)的總體損失函數(shù)的均值，并基于總體損失函數(shù)的均值使用隨機(jī)梯度下降方法對基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)的參數(shù)進(jìn)行更新；

45、重復(fù)步驟s42直到達(dá)到設(shè)定的迭代次數(shù)，獲得訓(xùn)練完成的基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)。

46、可選地，所述s41包括以下步驟：

47、s411：計算改進(jìn)的交并比：

48、計算預(yù)測出的檢測框和真實(shí)的檢測框之間的交并比，具體為：

49、；

50、其中，為真實(shí)的檢測框；為預(yù)測出的檢測框；

51、基于計算出的交并比計算改進(jìn)的交并比，具體為：

52、；

53、其中，為預(yù)測出的檢測框的最小外接矩形；為與的差集；

54、s412：計算改進(jìn)的定位損失值：

55、。

56、可選地，所述s5包括以下步驟：

57、s51：使用訓(xùn)練完成的基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，對未標(biāo)注的紅外圖像進(jìn)行目標(biāo)檢測，獲得候選目標(biāo)檢測框和置信度；

58、s52：使用非極大值抑制方法獲得最終目標(biāo)檢測框：

59、使用非極大值抑制方法篩選候選目標(biāo)檢測框，獲得最終目標(biāo)檢測框；具體為：

60、s521：篩選候選目標(biāo)檢測框：

61、根據(jù)步驟s51獲得的候選目標(biāo)檢測框的置信度，從高到低進(jìn)行排序，生成候選目標(biāo)檢測框列表；

62、s522：選擇最高置信度框：

63、選擇置信度最高的候選目標(biāo)檢測框，并將其作為初始目標(biāo)檢測框；

64、s523：抑制其他重疊框：

65、計算初始檢測框與候選目標(biāo)檢測框列表中其他候選目標(biāo)檢測框之間的改進(jìn)的交并比，并將改進(jìn)的交并比大于設(shè)定閾值的候選目標(biāo)檢測框進(jìn)行抑制，即將其從候選目標(biāo)檢測列表中移除；

66、s524：重復(fù)選擇：

67、重復(fù)步驟s522和步驟s523，直到候選目標(biāo)檢測框列表為空，最終保留的所有候選目標(biāo)檢測框即為最終目標(biāo)檢測框。

68、本發(fā)明還公開了一種基于多尺度融合的紅外小目標(biāo)檢測系統(tǒng)，包括：

69、網(wǎng)絡(luò)訓(xùn)練庫構(gòu)建模塊：獲取一定量的紅外圖像，對每一幅紅外圖像進(jìn)行人工標(biāo)注，并構(gòu)建訓(xùn)練庫；

70、去噪模塊：基于引導(dǎo)濾波方法對訓(xùn)練庫的紅外圖像進(jìn)行去噪，獲得去噪后的紅外圖像；

71、增強(qiáng)模塊：使用多尺度圖像增強(qiáng)方法對去噪后的紅外圖像進(jìn)行增強(qiáng)，獲得增強(qiáng)后的紅外圖像；

72、網(wǎng)絡(luò)構(gòu)建模塊：將增強(qiáng)后的紅外圖像輸入基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，獲得預(yù)測檢測框和置信度；

73、網(wǎng)絡(luò)訓(xùn)練模塊：使用預(yù)測檢測框?qū)Ρ日鎸?shí)檢測框，計算總體損失函數(shù)，并對基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，獲得訓(xùn)練完成的基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)；

74、網(wǎng)絡(luò)應(yīng)用模塊：使用訓(xùn)練完成的基于多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，對未標(biāo)注的紅外圖像進(jìn)行目標(biāo)檢測，并使用非極大值抑制方法獲得最終目標(biāo)檢測框。

75、有益效果：

76、本發(fā)明通過采用基于引導(dǎo)濾波方法，對紅外圖像進(jìn)行有效去噪。與傳統(tǒng)的去噪方法相比，基于引導(dǎo)濾波的去噪技術(shù)能夠在保留圖像細(xì)節(jié)的同時，顯著減少圖像中的噪聲，尤其是在高噪聲背景下表現(xiàn)出色。通過對紅外圖像的逐像素處理，本發(fā)明不僅提升了去噪效果，還為后續(xù)的圖像增強(qiáng)和目標(biāo)檢測提供了更為干凈的圖像輸入，從而增強(qiáng)了整個檢測流程的魯棒性和準(zhǔn)確性。

77、本發(fā)明通過引入多尺度圖像增強(qiáng)和多尺度融合的目標(biāo)檢測網(wǎng)絡(luò)，顯著提升了小目標(biāo)的檢測精度。在圖像增強(qiáng)階段，采用多尺度高斯模糊和細(xì)節(jié)融合技術(shù)，使得小目標(biāo)在復(fù)雜背景下的顯著性得到增強(qiáng)。在特征提取階段，利用多尺度特征圖的融合，有效捕捉到不同尺度的目標(biāo)信息，從而提高了檢測網(wǎng)絡(luò)對小目標(biāo)的敏感性。最終，本發(fā)明能夠在多種場景下實(shí)現(xiàn)對小目標(biāo)的精準(zhǔn)檢測，減少了漏檢和誤檢的情況。

78、本發(fā)明在目標(biāo)檢測的最終階段，采用了改進(jìn)的非極大值抑制方法，有效減少了檢測框之間的重疊和冗余。通過引入改進(jìn)的交并比計算方法，本發(fā)明在抑制其他重疊框時能夠更準(zhǔn)確地保留真正的目標(biāo)檢測框，提升了檢測結(jié)果的可靠性。該方法對背景噪聲和復(fù)雜場景的適應(yīng)性更強(qiáng)，確保了在多樣化環(huán)境下的檢測精度和魯棒性，從而使得本發(fā)明在實(shí)際應(yīng)用中具備更廣泛的適用性。