本公開(kāi)的實(shí)施例總體上涉及視頻處理技術(shù)，并且更具體地，涉及神經(jīng)網(wǎng)絡(luò)后處理濾波器激活和神經(jīng)網(wǎng)絡(luò)后處理濾波器特性的擴(kuò)展。

背景技術(shù)：

1、如今，數(shù)字視頻能力正被應(yīng)用于人們生活的各個(gè)方面。針對(duì)視頻編碼/解碼，已經(jīng)提出了多種類型的視頻壓縮技術(shù)，諸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高級(jí)視頻編解碼(avc)、itu-th.265高效視頻編解碼(hevc)標(biāo)準(zhǔn)、多功能視頻編解碼(vvc)標(biāo)準(zhǔn)。然而，總體上期望進(jìn)一步提高視頻編解碼技術(shù)的編解碼質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)的實(shí)施例提供一種用于視頻處理的解決方案。

2、在第一方面，提出了一種用于視頻處理的方法。該方法包括：執(zhí)行視頻的當(dāng)前視頻單元與視頻的比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對(duì)當(dāng)前視頻單元的至少一個(gè)神經(jīng)網(wǎng)絡(luò)后處理濾波器(nnpf)的至少一組語(yǔ)法元素，并且當(dāng)前視頻單元是視頻的當(dāng)前圖片的一部分。

3、根據(jù)本公開(kāi)的第一方面的方法，可以利用至少一組語(yǔ)法元素來(lái)控制針對(duì)視頻的圖片的一部分的一個(gè)或多個(gè)nnpf的激活。換句話說(shuō)，一個(gè)或多個(gè)nnpf的激活可以在比圖片級(jí)別低的級(jí)別(諸如條帶級(jí)別、片級(jí)別等)被控制。與其中一個(gè)或多個(gè)nnpf的激活在圖片級(jí)別被控制的常規(guī)解決方案相比，所提出的方法可以有利地以經(jīng)細(xì)化的方式啟用nnpf的應(yīng)用，并且因此可以提高編解碼質(zhì)量。

4、在第二方面，提出了一種用于視頻處理的裝置。該裝置包括處理器和在其上具有指令的非暫態(tài)存儲(chǔ)器。該指令在由處理器執(zhí)行時(shí)使處理器執(zhí)行根據(jù)本公開(kāi)的第一方面的方法。

5、在第三方面，提出了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有指令，該指令使處理器執(zhí)行根據(jù)本公開(kāi)的第一方面的方法。

6、在第四方面，提出了另一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)。該非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)存儲(chǔ)視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流。該方法包括：執(zhí)行視頻的當(dāng)前視頻單元與比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對(duì)當(dāng)前視頻單元的至少一個(gè)神經(jīng)網(wǎng)絡(luò)后處理濾波器(nnpf)的至少一組語(yǔ)法元素，并且當(dāng)前視頻單元是視頻的當(dāng)前圖片的一部分。

7、在第五方面，提出一種用于存儲(chǔ)視頻的比特流的方法。該方法包括：執(zhí)行視頻的當(dāng)前視頻單元與比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對(duì)當(dāng)前視頻單元的至少一個(gè)神經(jīng)網(wǎng)絡(luò)后處理濾波器(nnpf)的至少一組語(yǔ)法元素，并且當(dāng)前視頻單元是視頻的當(dāng)前圖片的一部分；以及將比特流存儲(chǔ)在非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)中。

8、提供本
技術(shù)實(shí)現(xiàn)要素：
是為了以簡(jiǎn)化的形式介紹以下在具體實(shí)施方式中進(jìn)一步描述的概念的選擇。本發(fā)明內(nèi)容不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)的主題的范圍。

技術(shù)特征：

1.一種用于視頻處理的方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中所述至少一組語(yǔ)法元素中的第一組語(yǔ)法元素包括多個(gè)語(yǔ)法元素。

3.根據(jù)權(quán)利要求2所述的方法，其中所述第一組語(yǔ)法元素包括第一語(yǔ)法元素，所述第一語(yǔ)法元素指示由與所述圖片有關(guān)的一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)后處理濾波器特性(nnpfc)補(bǔ)充增強(qiáng)信息(sei)消息指定的nnpf，并且所述第一語(yǔ)法元素由nnpfa_id表示。

4.根據(jù)權(quán)利要求3所述的方法，其中所述至少一個(gè)nnpf由nnpfa_id[i]指示，并且i是所述至少一個(gè)nnpf中的一個(gè)nnpf的索引。

5.根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的方法，其中所述第一組語(yǔ)法元素中的語(yǔ)法元素指示所述至少一個(gè)nnpf的數(shù)目，并且所述語(yǔ)法元素由nnpfa_num_minus1表示。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中關(guān)于是否通過(guò)信號(hào)傳輸所述至少一組語(yǔ)法元素和/或如何通過(guò)信號(hào)傳輸所述至少一組語(yǔ)法元素的信息取決于所述至少一個(gè)nnpf的數(shù)目，所述比特流中的神經(jīng)網(wǎng)絡(luò)后處理濾波器激活(nnpfa)sei消息包括指示所述至少一個(gè)nnpf的所述數(shù)目的第二語(yǔ)法元素，并且所述第二語(yǔ)法元素由nnpfa_num_minus1表示。

7.根據(jù)權(quán)利要求6所述的方法，其中所述第二語(yǔ)法元素的值在從0到255的范圍內(nèi)。

8.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中如果指示所述至少一個(gè)nnpf的數(shù)目的第二語(yǔ)法元素不被包括在所述比特流中，則所述第二語(yǔ)法元素的值被推定為等于第一值。

9.根據(jù)權(quán)利要求8所述的方法，其中所述第一值為0。

10.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中所述第二語(yǔ)法元素取決于所述至少一個(gè)nnpf的區(qū)域類型。

11.根據(jù)權(quán)利要求10所述的方法，其中所述區(qū)域類型由第三語(yǔ)法元素指示。

12.根據(jù)權(quán)利要求11所述的方法，其中所述第三語(yǔ)法元素由nnpfa_region_type表示。

13.根據(jù)權(quán)利要求11至12中任一項(xiàng)所述的方法，其中如果所述第三語(yǔ)法元素的值等于第二值，則所述第二語(yǔ)法元素不被包括在所述比特流中。

14.根據(jù)權(quán)利要求13所述的方法，其中所述第二值為0。

15.根據(jù)權(quán)利要求1至14中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息包括指示所述至少一個(gè)nnpf中的第i個(gè)nnpf的語(yǔ)法元素nnpfa_id[i]，并且i是整數(shù)。

16.根據(jù)權(quán)利要求15所述的方法，其中所述語(yǔ)法元素nnpfa_id[i]指定由一個(gè)或多個(gè)nnpfc?sei消息指定的第i個(gè)nnpf被用于所述當(dāng)前圖片的后處理濾波，所述一個(gè)或多個(gè)nnpfc?sei消息與所述當(dāng)前圖片有關(guān)并且具有等于所述語(yǔ)法元素nnfpa_id[i]的語(yǔ)法元素nnpfc_id。

17.根據(jù)權(quán)利要求1至16中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息包括指示所述至少一個(gè)nnpf的數(shù)目的語(yǔ)法元素nnpfa_num_minus1。

18.根據(jù)權(quán)利要求17所述的方法，其中所述至少一個(gè)nnpf的標(biāo)識(shí)的數(shù)目等于所述至少一個(gè)nnpf的所述數(shù)目。

19.根據(jù)權(quán)利要求1至18中任一項(xiàng)所述的方法，其中所述至少一個(gè)nnpf的區(qū)域類型由第四語(yǔ)法元素指示。

20.根據(jù)權(quán)利要求19所述的方法，其中所述第四語(yǔ)法元素由nnpfa_region_type表示。

21.根據(jù)權(quán)利要求19至20中任一項(xiàng)所述的方法，其中等于第三值的所述第四語(yǔ)法元素指示包括所述第四語(yǔ)法元素的sei消息激活被應(yīng)用于所述當(dāng)前圖片的一個(gè)nnpf。

22.根據(jù)權(quán)利要求21所述的方法，其中如果所述第四語(yǔ)法元素等于所述第三值，則指示所述至少一個(gè)nnpf的數(shù)目的語(yǔ)法元素不被包括在所述比特流中。

23.根據(jù)權(quán)利要求21至22中任一項(xiàng)所述的方法，其中大于所述第三值的所述第四語(yǔ)法元素指示所述sei消息激活一個(gè)或多個(gè)nnpf。

24.根據(jù)權(quán)利要求23所述的方法，其中如果所述第四語(yǔ)法元素等于比所述第三值大的第四值，則nnpf不被應(yīng)用于所述當(dāng)前圖片的每個(gè)條帶，或者應(yīng)用于所述當(dāng)前圖片的每個(gè)條帶的nnpf被指示，或者

25.根據(jù)權(quán)利要求24所述的方法，其中所述第三值為0，所述第四值為1，或者所述第五值為2。

26.根據(jù)權(quán)利要求19至20中任一項(xiàng)所述的方法，其中所述第四語(yǔ)法元素的值在第一預(yù)定范圍中，并且大于第六值的所述第四語(yǔ)法元素的值被保留且在所述比特流中不存在。

27.根據(jù)權(quán)利要求26所述的方法，其中具有大于所述第六值的所述第四語(yǔ)法元素的nnpfa?sei消息被忽略。

28.根據(jù)權(quán)利要求26至27中任一項(xiàng)所述的方法，其中所述第一預(yù)定范圍是從0到31，或者所述第六值為2。

29.根據(jù)權(quán)利要求19至28中任一項(xiàng)所述的方法，其中所述第四語(yǔ)法元素是左位在先的無(wú)符號(hào)整數(shù)0階指數(shù)哥倫布編解碼的語(yǔ)法元素。

30.根據(jù)權(quán)利要求1至29中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_slice_enabling_flag[i]指示nnpf在條帶級(jí)別處的使用。

31.根據(jù)權(quán)利要求30所述的方法，其中僅一個(gè)nnpf由所述nnpfa?sei消息中的語(yǔ)法元素nnpfa_ia指示。

32.根據(jù)權(quán)利要求1至29中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_slice_index[i]指示nnpf在條帶級(jí)別處的使用。

33.根據(jù)權(quán)利要求32所述的方法，其中一個(gè)或多個(gè)nnpf由所述nnpfa?sei消息中的語(yǔ)法元素nnpfa_ia[i]指示。

34.根據(jù)權(quán)利要求1至33中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_ctu_enabling_flag[i]指示nnpf在編解碼樹(shù)單元(ctu)級(jí)別處的使用。

35.根據(jù)權(quán)利要求34所述的方法，其中僅一個(gè)nnpf由所述nnpfa?sei消息中的語(yǔ)法元素nnpfa_ia指示。

36.根據(jù)權(quán)利要求1至33中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_ctu_index[i]指示nnpf在ctu級(jí)別處的使用。

37.根據(jù)權(quán)利要求36所述的方法，其中一個(gè)或多個(gè)nnpf由所述nnpfa?sei消息中的語(yǔ)法元素nnpfa_ia[i]指示。

38.根據(jù)權(quán)利要求1至27中任一項(xiàng)所述的方法，其中如果指示所述至少一個(gè)nnpf的區(qū)域類型的第三語(yǔ)法元素等于第七值，則與對(duì)應(yīng)于所述第七值的區(qū)域類型相關(guān)聯(lián)的至少一個(gè)語(yǔ)法元素被通過(guò)信號(hào)傳輸。

39.根據(jù)權(quán)利要求38所述的方法，其中所述第七值為1，且所述至少一個(gè)語(yǔ)法元素包括語(yǔ)法元素nnpfa_slice_index[i]或語(yǔ)法元素nnpfa_slice_enabling_flag[i]中的至少一項(xiàng)。

40.根據(jù)權(quán)利要求38所述的方法，其中所述第七值為2，且所述至少一個(gè)語(yǔ)法元素包括語(yǔ)法元素nnpfa_ctu_index[i]或語(yǔ)法元素nnpfa_ctu_enabling_flag[i]中的至少一項(xiàng)。

41.根據(jù)權(quán)利要求1至40中任一項(xiàng)所述的方法，其中語(yǔ)法元素nnpfa_slice_enabling_flag[i]或語(yǔ)法元素nnpfa_slice_index[i]中的至少一項(xiàng)等于第八值指示所述至少一個(gè)nnpf不在包括所述當(dāng)前視頻單元的當(dāng)前條帶中被使用，或者

42.根據(jù)權(quán)利要求41所述的方法，其中所述第八值為0或所述第九值為1。

43.根據(jù)權(quán)利要求1至42中任一項(xiàng)所述的方法，其中大于第十值的語(yǔ)法元素nnpfa_slice_index[i]指示具有與所述語(yǔ)法元素nnpfa_slice_index[i]的值減1相等的索引的nnpf被用于包括所述當(dāng)前視頻單元的當(dāng)前條帶中，或者

44.根據(jù)權(quán)利要求43所述的方法，其中所述第十值為0。

45.根據(jù)權(quán)利要求1至44中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_slice_enabling_flag[i]指示nnpf在條帶級(jí)別處的使用。

46.根據(jù)權(quán)利要求45所述的方法，其中等于第十一值的所述語(yǔ)法元素nnpfa_slice_enabling_flag[i]指示nnpf被用于所述當(dāng)前圖片的第i個(gè)條帶，或者

47.根據(jù)權(quán)利要求46所述的方法，其中所述第十一值為1或所述第十二值為0。

48.根據(jù)權(quán)利要求1至47中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_slice_index[i]指示nnpf在條帶級(jí)別處的使用。

49.根據(jù)權(quán)利要求48所述的方法，其中等于第十三值的所述語(yǔ)法元素nnpfa_slice_index[i]指示nnpf不被用于所述當(dāng)前圖片的第i個(gè)條帶，或者

50.根據(jù)權(quán)利要求49所述的方法，其中所述第十三值為0。

51.根據(jù)權(quán)利要求49至50中任一項(xiàng)所述的方法，其中所述語(yǔ)法元素nnpfa_slice_index[i]的值在第二預(yù)定范圍內(nèi)。

52.根據(jù)權(quán)利要求51所述的方法，其中所述第二預(yù)定范圍是從0到所述至少一個(gè)nnpf的數(shù)目。

53.根據(jù)權(quán)利要求1至52中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_ctu_enabling_flag[i]指示nnpf在ctu級(jí)別處的使用。

54.根據(jù)權(quán)利要求53所述的方法，其中等于第十四值的所述語(yǔ)法元素nnpfa_ctu_enabling_flag[i]指示nnpf被用于所述當(dāng)前圖片的第i個(gè)ctu，或者

55.根據(jù)權(quán)利要求54所述的方法，其中所述第十四值為1或所述第十五值為0。

56.根據(jù)權(quán)利要求1至55中任一項(xiàng)所述的方法，其中所述比特流中的nnpfa?sei消息中的語(yǔ)法元素nnpfa_ctu_index[i]指示nnpf在ctu級(jí)別處的使用。

57.根據(jù)權(quán)利要求56所述的方法，其中等于第十六值的所述語(yǔ)法元素nnpfa_ctu_index[i]指示nnpf不被用于所述當(dāng)前圖片的第i個(gè)ctu，或者

58.根據(jù)權(quán)利要求57所述的方法，其中所述第十六值為0。

59.根據(jù)權(quán)利要求57至58中任一項(xiàng)所述的方法，其中所述語(yǔ)法元素nnpfa_ctu_index[i]的值在第三預(yù)定范圍內(nèi)。

60.根據(jù)權(quán)利要求59所述的方法，其中所述第三預(yù)定范圍是從0到所述至少一個(gè)nnpf的數(shù)目。

61.根據(jù)權(quán)利要求1至60中任一項(xiàng)所述的方法，其中所述轉(zhuǎn)換包括將所述當(dāng)前視頻單元編碼到所述比特流中。

62.根據(jù)權(quán)利要求1至60中任一項(xiàng)所述的方法，其中所述轉(zhuǎn)換包括從所述比特流解碼所述當(dāng)前視頻單元。

63.一種用于視頻處理的裝置，包括處理器和其上具有指令的非暫態(tài)存儲(chǔ)器，其中所述指令在由所述處理器執(zhí)行時(shí)使所述處理器執(zhí)行根據(jù)權(quán)利要求1至62中任一項(xiàng)所述的方法。

64.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有指令，所述指令使處理器執(zhí)行根據(jù)權(quán)利要求1至62中任一項(xiàng)所述的方法。

65.一種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流，其中所述方法包括：

66.一種用于存儲(chǔ)視頻的比特流的方法，包括：

技術(shù)總結(jié)
本公開(kāi)的實(shí)施例提供一種用于視頻處理的解決方案。提出了一種用于視頻處理的方法。該方法包括：執(zhí)行視頻的當(dāng)前視頻單元與視頻的比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對(duì)當(dāng)前視頻單元的至少一個(gè)神經(jīng)網(wǎng)絡(luò)后處理濾波器(NNPF)的至少一組語(yǔ)法元素，并且當(dāng)前視頻單元是視頻的當(dāng)前圖片的一部分。

技術(shù)研發(fā)人員：李俊儒,王業(yè)奎,張凱,張莉,李躍,林超逸
受保護(hù)的技術(shù)使用者：抖音視界有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15