專利名稱：用于在視頻處理中減少噪聲的系統(tǒng)的制作方法
用于在視頻處理中減少噪聲的系統(tǒng)相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求于2009年4月17日提交的題為"Perceptual Video Processor”的美國(guó)臨時(shí)專利申請(qǐng)No. 61/170407的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用結(jié)合于此。
背景技術(shù)：
視頻圖像的質(zhì)量最終是由視頻圖像的人類觀看者所確定的。視頻噪聲包括并沒(méi)有對(duì)視頻圖像的人類觀看者所確定的視頻圖像質(zhì)量做出貢獻(xiàn)的相當(dāng)多的能量(即，大量的比特)。已知地，包含視頻噪聲和難以追蹤的視覺(jué)細(xì)節(jié)的視頻圖像將被確定為與沒(méi)有視頻噪聲和難以追蹤的視覺(jué)細(xì)節(jié)的視頻圖像具有類似的質(zhì)量。因此，針對(duì)傳輸或存儲(chǔ)而進(jìn)行的視頻圖像的壓縮就受到所述視頻噪聲和難以追蹤的視覺(jué)細(xì)節(jié)的影響。減小視頻噪聲和難以追蹤的視覺(jué)細(xì)節(jié)的能量或熵將會(huì)減少編碼視頻所需的比特?cái)?shù)。然而，難以準(zhǔn)確識(shí)別視頻噪聲以及準(zhǔn)確識(shí)別難以追蹤的視覺(jué)細(xì)節(jié)。此外，如果去除了視頻圖像中的重要細(xì)節(jié)，終端用戶將會(huì)感知到視頻質(zhì)量的劣化。已知這種劣化包括諸如感知遮蔽(perceptual masking)之類的效果，在其中，來(lái)自一個(gè)感知刺激的干擾降低了其它感知刺激的感知效果。

發(fā)明內(nèi)容
根據(jù)一個(gè)實(shí)施例，一種系統(tǒng)包括被配置為存儲(chǔ)模型人類視覺(jué)系統(tǒng)的數(shù)據(jù)存儲(chǔ)器， 被配置為接收視頻序列中的原始畫面并且接收基準(zhǔn)畫面的輸入模塊，以及處理器。所述處理器被配置為使用所述模型人類視覺(jué)系統(tǒng)創(chuàng)建所述原始畫面的像素映射。從所述像素映射確定第一層。從所述原始畫面和基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差來(lái)確定加權(quán)映射。接著使用所述加權(quán)映射和第一層從所述原始畫面確定經(jīng)處理的畫面。根據(jù)一個(gè)實(shí)施例，這里還公開(kāi)了一種在視頻處理中減少噪聲的方法。在所述方法中，接收視頻序列中的原始畫面。使用模型人類視覺(jué)系統(tǒng)創(chuàng)建所述原始畫面的像素映射。接收基準(zhǔn)畫面。從所述像素映射確定第一層。確定所述原始畫面和基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差。此后，從所述原始畫面和基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差來(lái)確定加權(quán)映射。所述加權(quán)映射包括基于人類時(shí)間感知能力的模型的用于每個(gè)像素的值。接著使用加權(quán)運(yùn)動(dòng)補(bǔ)償映射和第一層從所述原始畫面確定經(jīng)處理的畫面。根據(jù)一個(gè)實(shí)施例，還公開(kāi)了一種其上記錄有一個(gè)或多個(gè)計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)程序?qū)嵤┮陨纤_(kāi)的在視頻處理中減少噪聲的方法。本發(fā)明的實(shí)施例為編碼系統(tǒng)提供了自動(dòng)適配的噪聲減少以及自適應(yīng)的細(xì)節(jié)減少功能。本發(fā)明的實(shí)施例可以作為單獨(dú)的預(yù)處理器進(jìn)行操作或者可以耦合到編碼引擎。本發(fā)明的實(shí)施例將噪聲層和加權(quán)映射相結(jié)合，以找出難以壓縮和難以感知的像素，并接著減小那些像素的能量，使得視頻圖像更容易編碼。因此，要進(jìn)行壓縮和傳送的比特較少。


通過(guò)以下參考附圖所進(jìn)行的描述，本發(fā)明的特征對(duì)于本領(lǐng)域技術(shù)人員而言將是顯而易見(jiàn)的，其中圖1圖示了根據(jù)實(shí)施例的用于在視頻處理中減少噪聲的系統(tǒng)的框圖；圖2示出了根據(jù)實(shí)施例的3D噪聲減少器的數(shù)據(jù)流程圖；圖3圖示了根據(jù)實(shí)施例的使用3D噪聲減少器所進(jìn)行的感知遮蔽和保留；圖4示出了根據(jù)實(shí)施例的自適應(yīng)細(xì)節(jié)減少器的數(shù)據(jù)流程圖；圖5圖示了根據(jù)實(shí)施例的使用自適應(yīng)細(xì)節(jié)減少器所進(jìn)行的感知遮蔽和保留；圖6圖示了根據(jù)實(shí)施例的在視頻處理中減少噪聲的方法的流程圖；圖7A圖示的是根據(jù)實(shí)施例，使用3D噪聲減少器來(lái)確定經(jīng)清理的畫面(cleaned picture)；圖7B圖示的是根據(jù)實(shí)施例，使用3D噪聲減少器來(lái)確定經(jīng)清理的畫面；圖7C圖示的是根據(jù)實(shí)施例，使用3D噪聲減少器來(lái)確定經(jīng)清理的畫面；圖7D圖示的是根據(jù)實(shí)施例，使用3D噪聲減少器來(lái)確定經(jīng)清理的畫面；以及圖7E圖示的是根據(jù)實(shí)施例，使用3D噪聲減少器來(lái)確定經(jīng)清理的畫面。
具體實(shí)施例方式處于簡(jiǎn)明和說(shuō)明的目的，主要通過(guò)其實(shí)施例對(duì)本發(fā)明進(jìn)行描述。在以下描述中，給出了多種特定細(xì)節(jié)以提供對(duì)本發(fā)明的全面理解。然而，對(duì)于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是， 可以在并不局限于這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它實(shí)例中，并未對(duì)已知的方法和結(jié)構(gòu)進(jìn)行詳細(xì)描述以避免對(duì)本發(fā)明造成不必要的混淆。此外，不同實(shí)施例可以相互結(jié)合使用。圖1圖示了根據(jù)實(shí)施例的用于在視頻處理中減少噪聲的系統(tǒng)100的框圖。噪聲是數(shù)字視頻圖像中被確定為對(duì)所述數(shù)字視頻圖像進(jìn)行準(zhǔn)確的人類感知所不需要的過(guò)多比特。 系統(tǒng)100包括輸入模塊102、三維噪聲減少器(3DNR) 110、以及自適應(yīng)細(xì)節(jié)減少器(ADR) 120。 輸入模塊102被配置為接收視頻序列中的原始畫面124。所述3DNR在兩個(gè)空間維度以及一個(gè)時(shí)間維度中，對(duì)原始畫面1 執(zhí)行三維噪聲減少。ADR 120在所選擇的難以追蹤的細(xì)節(jié)上對(duì)原始畫面1 執(zhí)行自適應(yīng)細(xì)節(jié)減少。應(yīng)當(dāng)理解的是，系統(tǒng)100的以下描述僅是可以配置和操作系統(tǒng)100的各種不同方式中的一種方式。此外，應(yīng)當(dāng)理解的是，在不背離系統(tǒng)100 的范圍的情況下，系統(tǒng)100可以包括附加組件，并且所描述的一些組件可以被去除和/或修改。系統(tǒng)100使用加權(quán)映射112，以從原始畫面124形成經(jīng)處理的畫面130。所述加權(quán)映射112由系統(tǒng)100使用人類視覺(jué)系統(tǒng)的模型所創(chuàng)建，所述人類視覺(jué)系統(tǒng)的模型考慮了自然圖像的統(tǒng)計(jì)以及視網(wǎng)膜中細(xì)胞的響應(yīng)功能。加權(quán)映射112是基于人類視覺(jué)系統(tǒng)的模型的原始畫面124的像素映射。加權(quán)映射112可以包括標(biāo)識(shí)視覺(jué)感知的困難程度和/或壓縮的困難程度的用于每個(gè)像素的值或權(quán)重。壓縮的困難程度可以是度量對(duì)圖像的像素或區(qū)域進(jìn)行編碼所需的比特?cái)?shù)量的連續(xù)值范圍(continuous scale)。類似地，視覺(jué)感知的困難程度是度量對(duì)圖像的像素或區(qū)域進(jìn)行編碼所需的比特?cái)?shù)量的連續(xù)值范圍?？梢栽?DNR 110和ADR 120中使用不同的加權(quán)映射112。例如，系統(tǒng)100可以被配置為使用加權(quán)映射112和3DNR 110來(lái)減少原始畫面124中的噪聲并由此形成經(jīng)處理的畫面130。除此之外或可替換地，系統(tǒng)100可以使用加權(quán)映射112和ADR 120來(lái)減少原始畫面IM中難以追蹤的細(xì)節(jié)，以形成經(jīng)處理的畫面130。所述難以追蹤的細(xì)節(jié)可以使用基于加權(quán)映射112的預(yù)先確定的閾值來(lái)確定。經(jīng)處理的畫面130可以包括如以下參見(jiàn)圖2所描述的由3DNR 110處理之后的經(jīng)清理的畫面125，如以下參見(jiàn)圖4所描述的由ADR 120處理之后的修改的畫面，或者由3DNR 110和ADR 120處理之后的清理的和修改的畫面。經(jīng)清理的畫面125包括數(shù)量有所減少的噪聲，而修改的畫面則包括數(shù)量有所減少的適應(yīng)的細(xì)節(jié)(adapted details)。所述適應(yīng)的細(xì)節(jié)是重要的特征，諸如，ADR 120所保留并且被確定為對(duì)于感知圖像有用的臉部和邊緣。系統(tǒng)100使用基準(zhǔn)畫面1 對(duì)原始畫面IM進(jìn)行清理或修改。根據(jù)一個(gè)實(shí)施例， 基準(zhǔn)畫面1 可以包括之前已經(jīng)被系統(tǒng)100處理過(guò)的畫面，例如，來(lái)自視頻序列中之前的原始畫面124的經(jīng)清理的畫面。可替換地，基準(zhǔn)畫面1 可以包括未處理的畫面。系統(tǒng)100使用該信息，以在最少量地引入可注意到的人為處理的情況下而有選擇地減少噪聲和難以追蹤的細(xì)節(jié)。此外，系統(tǒng)100中所使用的處理使用加權(quán)映射來(lái)減少和/ 或消除諸如運(yùn)動(dòng)模糊、運(yùn)動(dòng)不連續(xù)和與人為處理相似的邊緣之類的人為處理。系統(tǒng)100減少感知遮蔽并且可以被用來(lái)避免拖尾(smearing)。3DNR 110可以被配置為提取噪聲層，由此針對(duì)視頻序列執(zhí)行自動(dòng)適配的噪聲減少，而ADR 120可以被用來(lái)提取空間層，由此針對(duì)視頻序列執(zhí)行自適應(yīng)的細(xì)節(jié)減少。3DNR 110和ADR120是可完全隔離的，并且系統(tǒng)100可以包括其操作將在以下參見(jiàn)圖2進(jìn)行描述的單個(gè)3DNR 110，以及其操作將在以下參見(jiàn)圖4進(jìn)行描述的單個(gè)ADR 120。圖2圖示了根據(jù)實(shí)施例的3DNR 110的數(shù)據(jù)流程圖200。使用畫面分解204將原始畫面IM分解為噪聲層206和加權(quán)映射112。畫面分解204使用模型人類視覺(jué)系統(tǒng)208，以基于原始圖像1 來(lái)確定像素映射。人類視覺(jué)系統(tǒng)208的模型可以包括人類空間感知能力的模型和人類時(shí)間感知能力的模型。根據(jù)一個(gè)實(shí)施例，創(chuàng)建加權(quán)映射112時(shí)所使用的人類視覺(jué)系統(tǒng)的模型是綜合感知引導(dǎo)(IPeG)系統(tǒng)，其在2000年1月11日公開(kāi)的題為“Apparatus and Methods for Image and Signal Processing” 的美國(guó)專利 No. 6014468 ;2002 年 3 月 19 日公開(kāi)的題為 "Apparatus and Methods for Image and Signal Processing，，的美國(guó)專利 No. 6360021 ; 作為2006年5月16日公開(kāi)的美國(guó)專利No. 6360021的繼續(xù)申請(qǐng)的，題為“Apparatus and Methods for Image and Signal Processing，，的美國(guó)專利 No. 7046857 ；以及 2000 年 1 月 28 Hil^W||^"Apparatus and Methods for Image and Signal Processing，，的 15P示串請(qǐng)PCT/US95/15767中進(jìn)行了更為詳細(xì)的描述，它們通過(guò)引用全文結(jié)合于此。IPEG系統(tǒng)提供了如下的信息，其包括將視覺(jué)細(xì)節(jié)組織為感知重要性的信號(hào)集合，以及指示觀看者追蹤特定視頻細(xì)節(jié)的能力的量度。噪聲層206包括用于基于人類空間感知能力的模型的用于每個(gè)像素的值。例如， 噪聲層206可以使用等式(1)來(lái)確定N(i, j) = E(i, j) · PN(i, j)其中i、j是所處理的圖像區(qū)域中的N個(gè)像素的像素坐標(biāo)，E(i，j)是形成空間細(xì)節(jié)層304的空間細(xì)節(jié)層值的像素映射，而P (i，j)是作為輸入的P函數(shù)，以計(jì)算加權(quán)映射112。噪聲層206的P函數(shù)可以使用等式(2)來(lái)確定
Pn(i, j) = eXp(-|E(i，j) |/λΝ)。被表示為拉姆達(dá)(λ )的參數(shù)是調(diào)諧參數(shù)，其被用來(lái)改變3DNR 110和ADP 120的整體強(qiáng)度。例如，可以獨(dú)立地為3DNR 110和ADP 120提供六個(gè)強(qiáng)度等級(jí)(“最強(qiáng)”、“強(qiáng)”、 “中等”、“弱”、“最弱”和“失效”)。每個(gè)強(qiáng)度等級(jí)與一組拉姆達(dá)值和阿爾法(α)值相關(guān)聯(lián) (其是不對(duì)稱IIR的開(kāi)關(guān)速率)。服務(wù)提供方以幫助顧客滿足視頻質(zhì)量和比特率需求的方式，依據(jù)經(jīng)驗(yàn)為每個(gè)強(qiáng)度等級(jí)選擇缺省的拉姆達(dá)值。與3DNR 110和ADP 120相關(guān)聯(lián)的值可以被定制，以提供更多的控制?？梢允褂眠B續(xù)賦值的函數(shù)來(lái)生成P函數(shù)，其提供了定制的機(jī)會(huì)，并且避免了可能在通過(guò)閾值運(yùn)算所施加的“非全即不(all-or-none)，，決策的邊界附近出現(xiàn)的視覺(jué)失真。P函數(shù)的下標(biāo)η指噪聲層206。加權(quán)映射112，ff(i, j)包括基于人類時(shí)間感知能力的模型的用于每個(gè)像素的值。 在分解之后，噪聲層206與加權(quán)映射112進(jìn)行重組，以形成經(jīng)修改的噪聲層210。從原始圖像1 減去經(jīng)修改的噪聲層210，以形成經(jīng)清理的畫面125。如關(guān)于圖3所示出的，3DNR 110可以被用于感知遮蔽和保留。用于感知遮蔽的P 函數(shù)可以使用等式C3)來(lái)確定Ps (i，j) = exp(-|E(i，j) I/Xs)感知視頻標(biāo)識(shí)了人類視網(wǎng)膜看到的對(duì)于圖像感知的影響低的視覺(jué)部分，并且允許系統(tǒng)100減少圖像的相應(yīng)的低影響部分，從而所要編碼的數(shù)據(jù)量得以減少。P函數(shù)的下標(biāo)S 指空間細(xì)節(jié)層304。如圖3所示，可以將原始畫面IM提供給畫面分解204，以確定空間細(xì)節(jié)層304。例如，空間細(xì)節(jié)層304可以使用等式(4)來(lái)確定
權(quán)利要求
1.一種用于在視頻處理中減少噪聲的系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)存儲(chǔ)器，被配置為存儲(chǔ)模型人類視覺(jué)系統(tǒng)；輸入模塊，被配置為接收視頻序列中的原始畫面并且接收所述視頻序列中的基準(zhǔn)畫面；處理器，所述處理器被配置為使用所述模型人類視覺(jué)系統(tǒng)創(chuàng)建所述原始畫面的像素映射；使用所述模型人類視覺(jué)系統(tǒng)從所述像素映射確定第一層；確定所述原始畫面和所述基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差；從所述原始畫面和所述基準(zhǔn)畫面之間的所述運(yùn)動(dòng)補(bǔ)償差來(lái)確定加權(quán)映射，其中，所述加權(quán)映射包括基于人類時(shí)間感知能力的模型的用于每個(gè)像素的值；并且使用所述加權(quán)映射和所述第一層從所述原始畫面確定經(jīng)處理的畫面。
2.如權(quán)利要求1所述的系統(tǒng)，其中所述第一層包括噪聲層，所述噪聲層包括基于人類空間感知能力的模型的用于每個(gè)像素的值，并且所述處理器被配置為通過(guò)使用所述加權(quán)映射和所述噪聲層來(lái)清理所述原始畫面，以確定所述經(jīng)處理的畫面，其中，經(jīng)清理的畫面具有與所述原始畫面相比數(shù)量有所減少的噪聲。
3.如權(quán)利要求2所述的系統(tǒng)，其中，所述處理器被配置為通過(guò)以下步驟來(lái)清理所述原始畫面使用所述噪聲層和運(yùn)動(dòng)補(bǔ)償加權(quán)映射來(lái)形成經(jīng)修改的噪聲層，其中，所述經(jīng)修改的噪聲層包括基于人類空間感知能力的模型的所述經(jīng)修改的噪聲層中的用于每個(gè)像素的值，并且所述經(jīng)修改的噪聲層中的每個(gè)值指示壓縮和感知像素的困難程度；以及通過(guò)從所述原始畫面中的像素減去所述經(jīng)修改的噪聲層中的像素來(lái)確定所述經(jīng)清理的畫面，以消除難以壓縮和難以感知的數(shù)據(jù)。
4.如權(quán)利要求1所述的系統(tǒng)，其中，所述第一層包括噪聲層，所述噪聲層包括基于人類空間感知能力的模型的用于每個(gè)像素的值，并且所述處理器被進(jìn)一步配置為創(chuàng)建所述原始畫面的經(jīng)處理版本，并且使用所述原始畫面的所述經(jīng)處理版本來(lái)確定所述噪聲層。
5.如權(quán)利要求1所述的系統(tǒng)，其中，使用所述原始畫面、所述原始畫面的經(jīng)處理版本、 所述基準(zhǔn)畫面、和所述基準(zhǔn)畫面的經(jīng)處理版本來(lái)確定所述加權(quán)映射。
6.如權(quán)利要求5所述的系統(tǒng)，其中，使用基準(zhǔn)加權(quán)映射確定所述加權(quán)映射。
7.如權(quán)利要求5所述的系統(tǒng)，其中，使用所述原始畫面的第二經(jīng)處理版本和所述原始畫面的第二經(jīng)處理版本確定所述加權(quán)映射。
8.如權(quán)利要求7所述的系統(tǒng)，其中，使用基準(zhǔn)加權(quán)映射來(lái)確定所述加權(quán)映射。
9.如權(quán)利要求2所述的系統(tǒng)，其中，所述噪聲層是空間細(xì)節(jié)層，并且所述值標(biāo)識(shí)所述經(jīng)清理的畫面中的高感知對(duì)照區(qū)域和所述經(jīng)清理的畫面中的低感知對(duì)照區(qū)域。
10.如權(quán)利要求1所述的系統(tǒng)，其中，所述第一層包括空間細(xì)節(jié)層，所述空間細(xì)節(jié)層包括基于人類空間感知能力的模型的用于每個(gè)像素的值，并且所述處理器被配置為通過(guò)使用所述加權(quán)映射和所述空間細(xì)節(jié)層來(lái)修改所述原始畫面， 以確定所述經(jīng)處理的畫面，其中所述經(jīng)修改的畫面包括數(shù)量減少的適應(yīng)的細(xì)節(jié)。
11.如權(quán)利要求10所述的系統(tǒng)，其中，所述處理器被配置為通過(guò)以下步驟修改所述原始畫面使用所述空間細(xì)節(jié)層和所述加權(quán)映射來(lái)形成經(jīng)修改的細(xì)節(jié)層，其中，所述經(jīng)修改的細(xì)節(jié)層包括基于人類感知能力的模型的所述經(jīng)修改的細(xì)節(jié)層中的用于每個(gè)像素的值，并且所述經(jīng)修改的細(xì)節(jié)層中的每個(gè)值指示壓縮和感知像素的困難程度；以及通過(guò)從所述原始畫面中的像素減去所述經(jīng)修改的細(xì)節(jié)層中的像素來(lái)確定所述經(jīng)修改的畫面，以消除難以壓縮和難以感知的數(shù)據(jù)。
12.如權(quán)利要求11所述的系統(tǒng)，其中，所述加權(quán)映射被配置為保留預(yù)先確定的細(xì)節(jié)，并且有選擇地弱化目標(biāo)細(xì)節(jié)，其中，所述目標(biāo)細(xì)節(jié)是同時(shí)難以感知且難以壓縮的，并且其中，所述經(jīng)修改的細(xì)節(jié)層中的值指示所述目標(biāo)細(xì)節(jié)。
13.一種用于在視頻處理中減少噪聲的方法 接收視頻序列中的原始畫面；使用模型人類視覺(jué)系統(tǒng)創(chuàng)建所述原始畫面的像素映射；從所述像素映射確定第一層；接收所述視頻序列中的基準(zhǔn)畫面；確定所述原始畫面和所述基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差；從所述原始畫面和所述基準(zhǔn)畫面之間的所述運(yùn)動(dòng)補(bǔ)償差確定加權(quán)映射，其中，所述加權(quán)映射包括基于人類時(shí)間感知能力的模型的用于每個(gè)像素的值；并且使用加權(quán)運(yùn)動(dòng)補(bǔ)償映射和所述第一層從所述原始畫面確定經(jīng)處理的畫面。
14.如權(quán)利要求13所述的方法，其中，所述第一層包括噪聲層，所述噪聲層包括基于人類空間感知能力的模型的用于每個(gè)像素的值，并且確定所述經(jīng)處理的畫面包括使用所述加權(quán)映射和所述噪聲層來(lái)清理所述原始畫面， 其中，經(jīng)清理的畫面具有與所述原始畫面相比數(shù)量有所減少的噪聲。
15.如權(quán)利要求14所述的方法，其中清理所述原始畫面包括使用所述噪聲層和所述運(yùn)動(dòng)補(bǔ)償加權(quán)映射來(lái)形成經(jīng)修改的噪聲層，其中，所述經(jīng)修改的噪聲層包括基于人類空間感知能力的模型的所述經(jīng)修改的噪聲層中的用于每個(gè)像素的值，并且所述經(jīng)修改的噪聲層中的每個(gè)值指示壓縮和感知像素的困難程度；以及通過(guò)從所述原始畫面中的像素減去所述經(jīng)修改的噪聲層中的像素來(lái)確定所述經(jīng)清理的畫面，以消除難以壓縮和難以感知的數(shù)據(jù)。
16.如權(quán)利要求13所述的方法，其中，所述第一層包括空間細(xì)節(jié)層，所述空間細(xì)節(jié)層包括基于人類空間感知能力的模型的用于每個(gè)像素的值，并且確定所述經(jīng)處理的畫面包括使用所述加權(quán)映射和所述空間細(xì)節(jié)層來(lái)修改所述原始畫面，其中，所述經(jīng)修改的畫面包括數(shù)量減少的適應(yīng)的細(xì)節(jié)。
17.如權(quán)利要求16所述的方法，其中，修改所述原始畫面包括使用所述空間細(xì)節(jié)層和所述運(yùn)動(dòng)補(bǔ)償加權(quán)映射來(lái)形成經(jīng)修改的細(xì)節(jié)層，其中，所述經(jīng)修改的細(xì)節(jié)層包括基于人類感知能力的模型的所述經(jīng)修改的細(xì)節(jié)層中的用于每個(gè)像素的值，并且所述經(jīng)修改的細(xì)節(jié)層中的每個(gè)值指示壓縮和感知像素的困難程度；并且通過(guò)從所述原始畫面中的像素減去所述經(jīng)修改的細(xì)節(jié)層中的像素來(lái)確定所述經(jīng)修改的畫面，以消除難以壓縮和難以感知的數(shù)據(jù)。
18.如權(quán)利要求13所述的方法，其中，確定所述運(yùn)動(dòng)補(bǔ)償加權(quán)映射包括為每個(gè)像素確定感知能力等級(jí)，其中，所述感知能力等級(jí)處于從低感知能力到高感知能力的范圍之中；以及基于所述感知能力等級(jí)來(lái)確定用于像素的值。
19.一種其上存儲(chǔ)有至少一個(gè)計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)程序在被執(zhí)行時(shí)實(shí)施一種在視頻處理中減少噪聲的方法，所述方法包括接收視頻序列中的原始畫面；使用模型人類視覺(jué)系統(tǒng)創(chuàng)建所述原始畫面的像素映射；從所述像素映射確定噪聲層，其中，所述噪聲層包括基于人類空間感知能力的模型的用于每個(gè)像素的值；接收所述視頻序列中的基準(zhǔn)畫面；從所述原始畫面和所述基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差來(lái)確定運(yùn)動(dòng)補(bǔ)償加權(quán)映射，其中， 所述運(yùn)動(dòng)補(bǔ)償加權(quán)映射包括基于人類時(shí)間感知能力的模型的用于每個(gè)像素的值；并且使用所述加權(quán)運(yùn)動(dòng)補(bǔ)償映射和所述噪聲層從所述原始畫面確定經(jīng)清理的畫面。
20.如權(quán)利要求19所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上所存儲(chǔ)的方法，其中，所述第一層包括噪聲層，所述噪聲層包括基于人類空間感知能力的模型的用于每個(gè)像素的值，并且確定所述經(jīng)處理的畫面包括使用所述加權(quán)映射和所述噪聲層來(lái)清理所述原始畫面， 其中，經(jīng)清理的畫面具有與所述原始畫面相比數(shù)量減少的噪聲。
21.如權(quán)利要求19所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上所存儲(chǔ)的方法，其中，所述第一層包括空間細(xì)節(jié)層，所述空間細(xì)節(jié)層包括基于人類空間感知能力的模型的用于每個(gè)像素的值， 并且確定經(jīng)處理的畫面包括使用所述加權(quán)映射和所述空間細(xì)節(jié)層來(lái)修改所述原始畫面， 其中，所述經(jīng)修改的畫面包括數(shù)量減少的適應(yīng)的細(xì)節(jié)。
全文摘要
一種系統(tǒng)，其包括被配置為存儲(chǔ)模型人類視覺(jué)系統(tǒng)的數(shù)據(jù)存儲(chǔ)器；被配置為接收視頻序列中的原始畫面并且接收基準(zhǔn)畫面的輸入模塊；以及處理器。所述處理器被配置為使用所述模型人類視覺(jué)系統(tǒng)創(chuàng)建所述原始畫面的像素映射。從所述像素映射來(lái)確定第一層。從所述原始畫面和基準(zhǔn)畫面之間的運(yùn)動(dòng)補(bǔ)償差來(lái)確定加權(quán)映射。接著使用所述加權(quán)映射和第一層，從所述原始畫面確定經(jīng)處理的畫面。
文檔編號(hào)H04N5/208GK102460505SQ201080025230
公開(kāi)日2012年5月16日 申請(qǐng)日期2010年4月19日 優(yōu)先權(quán)日2009年4月17日
發(fā)明者維賈伊·卡馬希, 肖恩·麥卡蒂, 阿米特·蒂卡雷 申請(qǐng)人:通用儀表公司