本發(fā)明涉及醫(yī)學(xué)影像處理，尤其涉及一種基于unet改進(jìn)的sam模型實(shí)現(xiàn)的腫瘤標(biāo)注方法。

背景技術(shù)：

1、segement?anything?model（sam）允許用戶通過交互為特定感興趣區(qū)域生成掩模標(biāo)注。sam模型包含：圖像編碼器、提示編碼器和掩碼解碼器。圖像編碼器利用視覺transformer模型vit處理圖像，并逐步降采樣生成原始圖像1/16大小的特征圖。提示編碼器接受稀疏和密集的提示，所述提示包括點(diǎn)狀、框狀或掩碼，將提示轉(zhuǎn)換為提示嵌入。然后，掩碼解碼器使用交叉注意力機(jī)制整合來自特征圖和提示編碼器的提示嵌入，根據(jù)不同的提示為圖像生成不同的掩碼。在醫(yī)療領(lǐng)域，一些感興趣區(qū)域（腫瘤病灶）與背景（腫瘤病灶所處的器官、身體組織）之間的邊界情況復(fù)雜，且多為難以分辨明確的弱邊界、復(fù)雜邊緣和多變形狀。segement?anything?model直接應(yīng)用于醫(yī)學(xué)圖像標(biāo)注效果較差。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本發(fā)明提供一種基于unet改進(jìn)的sam模型實(shí)現(xiàn)的腫瘤標(biāo)注方法。

2、第一方面，本發(fā)明提供一種基于unet改進(jìn)的sam模型實(shí)現(xiàn)的腫瘤標(biāo)注方法，包括：

3、獲取待標(biāo)注的腫瘤圖像；

4、針對腫瘤圖像的感興趣區(qū)域給定相應(yīng)的標(biāo)注提示，所述標(biāo)注提示采用點(diǎn)狀、框狀或者掩碼提示中的任意一種；

5、將標(biāo)注提示和腫瘤圖像提供給基于unet改進(jìn)的sam模型，所述基于unet改進(jìn)的sam模型根據(jù)標(biāo)注提示來形成感興趣區(qū)域的標(biāo)注掩碼；其中，所述基于unet改進(jìn)的sam模型包括：sam模型的原始圖像編碼器、原始提示編碼器和原始掩碼解碼器；以及額外新增的對應(yīng)原始圖像編碼器各個(gè)階段的級(jí)聯(lián)的上采樣解碼模塊，新增的設(shè)置于上采樣解碼模塊和原始圖像編碼器之間的多個(gè)邊緣強(qiáng)化注意力。

6、更進(jìn)一步的，在所述基于unet改進(jìn)的sam模型中，將原始圖像編碼器按unet架構(gòu)進(jìn)行了改進(jìn)，包括：

7、配置對應(yīng)原始圖像編碼器各個(gè)編碼階段的上采樣解碼模塊，各個(gè)上采樣解碼模塊級(jí)聯(lián)，級(jí)聯(lián)的上采樣解碼模塊形成四個(gè)解碼階段：第一個(gè)解碼階段的上采樣解碼模塊解碼原始圖像編碼器最后一解碼階段輸出的腫瘤圖像編碼特征圖；第二到第四個(gè)解碼階段中，任意解碼階段的上采樣解碼模塊將其上一級(jí)解碼階段的上采樣解碼模塊輸出的腫瘤圖像解碼特征圖和其對應(yīng)解碼階段的邊緣強(qiáng)化腫瘤圖像特征圖的逐點(diǎn)相加結(jié)果進(jìn)行上采樣，得到多尺度邊緣強(qiáng)化的腫瘤圖像解碼特征圖，多尺度邊緣強(qiáng)化的腫瘤圖像解碼特征圖經(jīng)上采樣解碼模塊逐級(jí)融合后，為最終的標(biāo)注掩碼生成提供高邊緣質(zhì)量的數(shù)據(jù)。

8、更進(jìn)一步的，解碼階段用到的所述邊緣強(qiáng)化腫瘤圖像特征圖來自于所述邊緣強(qiáng)化注意力；三個(gè)所述邊緣強(qiáng)化注意力分別接收原始圖像編碼器第一編碼階段到第三編碼階段輸出的腫瘤圖像編碼特征圖，分別接收腫瘤圖像的相應(yīng)尺度的邊緣特征圖，和分別接收相應(yīng)的上一級(jí)上采樣解碼模塊的輸出，通過注意力的方式結(jié)合三者進(jìn)行邊緣強(qiáng)化生成邊緣強(qiáng)化腫瘤圖像特征圖。

9、更進(jìn)一步的，對于編碼階段輸出的腫瘤圖像編碼特征圖，所述邊緣強(qiáng)化注意力通過卷積層處理得到通道降維的腫瘤圖像編碼特征圖；

10、對于腫瘤圖像的拉普拉斯金字塔中邊緣特征圖，所述邊緣強(qiáng)化注意力通過卷積和非線性激活函數(shù)將其轉(zhuǎn)換成邊緣特征注意力；邊緣特征注意力與相應(yīng)的通道降維的腫瘤圖像編碼特征圖逐點(diǎn)相乘；

11、對于上一級(jí)上采樣解碼模塊輸出的腫瘤圖像解碼特征圖，通過1×1的卷積層和激活函數(shù)處理得到的腫瘤圖像解碼特征圖注意力，所述邊緣強(qiáng)化注意力將腫瘤圖像解碼特征圖注意力轉(zhuǎn)換成腫瘤圖像解碼特征圖反注意力，腫瘤圖像解碼特征圖反注意力與相應(yīng)的通道降維的腫瘤圖像編碼特征圖逐點(diǎn)相乘；所述邊緣強(qiáng)化注意力利用高斯濾波、降采樣和上采樣操作處理腫瘤圖像解碼特征圖注意力，腫瘤圖像解碼特征圖注意力減去高斯濾波、降采樣和上采樣的處理結(jié)果得到腫瘤圖像解碼特征圖邊緣注意力，將腫瘤圖像解碼特征圖邊緣注意力與相應(yīng)的通道降維的腫瘤圖像編碼特征圖逐點(diǎn)相乘；

12、將通道降維的腫瘤圖像編碼特征圖基于三種注意力得到的結(jié)果拼接后通過殘差卷積和門控注意力處理，得到綜合邊緣強(qiáng)化注意力特征圖；通道降維的腫瘤圖像編碼特征圖與綜合邊緣強(qiáng)化注意力特征圖逐點(diǎn)相乘后，再通過卷積注意力模塊生成邊緣強(qiáng)化腫瘤圖像特征圖。

13、更進(jìn)一步的，所述拉普拉斯金字塔的計(jì)算過程如下：

14、對腫瘤圖像迭代的進(jìn)行高斯濾波和下采樣得到由大到小的多層高斯金字塔，對于高斯金字塔任意相鄰兩層，由上一層減去下一層的上采樣結(jié)果得到拉普拉斯金字塔的一層。

15、更進(jìn)一步的，所述卷積注意力模塊包含通道注意力和空間注意力。

16、更進(jìn)一步的，sam的原始掩碼解碼器使用雙路注意力機(jī)制整合來自1/16大小的腫瘤圖像編碼特征圖和提示編碼器的提示嵌入，通過sam上采樣解碼得到原始腫瘤圖像編碼特征圖的解碼結(jié)果，將解碼結(jié)果和邊緣強(qiáng)化的腫瘤圖像解碼特征圖經(jīng)過逐點(diǎn)相加融合，將逐點(diǎn)相加的融合結(jié)果與原始掩碼解碼器的多層感知機(jī)基于雙路注意力輸出而生成的輸出相乘得到感興趣區(qū)域的標(biāo)注掩碼。

17、更進(jìn)一步的，對基于unet改進(jìn)的sam模型進(jìn)行訓(xùn)練，訓(xùn)練凍結(jié)原始sam模型的參數(shù)，訓(xùn)練的損失函數(shù)采用真實(shí)標(biāo)注掩碼和預(yù)測標(biāo)注掩碼之間交叉熵?fù)p失和dice損失的組合。

18、第二方面，本發(fā)明提供一種基于unet改進(jìn)的sam模型實(shí)現(xiàn)的腫瘤標(biāo)注裝置，包括：至少一處理單元，所述處理單元通過總線單元連接存儲(chǔ)單元，所述存儲(chǔ)單元存儲(chǔ)計(jì)算機(jī)程序，所述處理單元通過運(yùn)行存儲(chǔ)在存儲(chǔ)單元中的計(jì)算機(jī)程序，實(shí)現(xiàn)所述的基于unet改進(jìn)的sam模型實(shí)現(xiàn)的腫瘤標(biāo)注方法。

19、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被執(zhí)行時(shí)，實(shí)現(xiàn)所述的基于unet改進(jìn)的sam模型實(shí)現(xiàn)的腫瘤標(biāo)注方法。

20、本發(fā)明實(shí)施例提供的上述技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)：

21、本發(fā)明增設(shè)的新解碼器中，第二到第四個(gè)解碼階段中，任意解碼階段的上采樣解碼模塊將其上一級(jí)解碼階段的上采樣解碼模塊輸出的腫瘤圖像解碼特征圖和其對應(yīng)解碼階段的邊緣強(qiáng)化腫瘤圖像特征圖的逐點(diǎn)相加結(jié)果進(jìn)行上采樣，得到多尺度邊緣強(qiáng)化的腫瘤圖像解碼特征圖，多尺度邊緣強(qiáng)化的腫瘤圖像解碼特征圖經(jīng)上采樣解碼模塊逐級(jí)融合后，為最終的標(biāo)注掩碼生成提供高邊緣質(zhì)量的數(shù)據(jù)，能夠改善標(biāo)注的質(zhì)量。

22、對于腫瘤圖像的拉普拉斯金字塔中邊緣特征圖，所述邊緣強(qiáng)化注意力通過卷積和非線性激活函數(shù)將其轉(zhuǎn)換成邊緣特征注意力，邊緣特征注意力與相應(yīng)的通道降維的腫瘤圖像編碼特征圖逐點(diǎn)相乘，利用邊緣特征圖中的邊緣信息增強(qiáng)腫瘤圖像編碼特征圖中的邊緣信息。對于上一級(jí)上采樣解碼模塊輸出的腫瘤圖像解碼特征圖，通過1×1的卷積層和激活函數(shù)處理得到的腫瘤圖像解碼特征圖注意力，所述邊緣強(qiáng)化注意力將腫瘤圖像解碼特征圖注意力轉(zhuǎn)換成腫瘤圖像解碼特征圖反注意力，腫瘤圖像解碼特征圖反注意力與相應(yīng)的通道降維的腫瘤圖像編碼特征圖逐點(diǎn)相乘。上一級(jí)的解碼階段的腫瘤圖像解碼特征圖中語義置信度相對高，但分辨率較低、邊緣相對粗略，通過反注意力從每層的腫瘤圖像解碼特征圖中刪除當(dāng)前預(yù)測的關(guān)注區(qū)域得到非關(guān)注區(qū)域，將非關(guān)注區(qū)域提供到下一層，利用邊緣強(qiáng)化特征進(jìn)一步的對非關(guān)注區(qū)域進(jìn)行關(guān)注分析，從而引導(dǎo)整個(gè)上采樣解碼模塊從非關(guān)注區(qū)域中依次發(fā)現(xiàn)補(bǔ)充應(yīng)當(dāng)屬于關(guān)注區(qū)域的細(xì)節(jié)。所述邊緣強(qiáng)化注意力利用高斯濾波、降采樣和上采樣操作處理腫瘤圖像解碼特征圖注意力，腫瘤圖像解碼特征圖注意力減去高斯濾波、降采樣和上采樣的處理結(jié)果得到腫瘤圖像解碼特征圖邊緣注意力，將腫瘤圖像解碼特征圖邊緣注意力與相應(yīng)的通道降維的腫瘤圖像編碼特征圖逐點(diǎn)相乘，將腫瘤圖像解碼特征圖和腫瘤圖像編碼特征圖共有的邊緣信息增強(qiáng)。