本申請(qǐng)涉及圖像處理，具體地，涉及一種動(dòng)態(tài)場景三維重建方法、云平臺(tái)、系統(tǒng)、設(shè)備和存儲(chǔ)介質(zhì)。
背景技術(shù)：
1、隨著現(xiàn)代科學(xué)技術(shù)的迅猛發(fā)展，三維重建技術(shù)已成為各領(lǐng)域內(nèi)的關(guān)鍵技術(shù)之一，其應(yīng)用需求持續(xù)增長。傳統(tǒng)三維重建方法主要基于幾何重構(gòu)和多視圖幾何理論，但這些方法對(duì)輸入數(shù)據(jù)的質(zhì)量依賴性高，且在處理復(fù)雜場景時(shí)面臨計(jì)算負(fù)荷重和細(xì)節(jié)恢復(fù)不足的問題。近年來，深度學(xué)習(xí)技術(shù)的興起為三維重建技術(shù)提供了新的發(fā)展方向，尤其是基于神經(jīng)網(wǎng)絡(luò)的重建方法逐漸成為研究的主流。神經(jīng)輻射場(nerf)作為一種新興的深度學(xué)習(xí)驅(qū)動(dòng)的三維重建方法，通過隱式表征實(shí)現(xiàn)光線位置和方向到顏色和不透明度的映射，并利用體渲染技術(shù)生成圖像。盡管nerf模型結(jié)構(gòu)緊湊，但其在重建質(zhì)量和計(jì)算效率方面存在局限性。特別是在大規(guī)模場景重建中，nerf在細(xì)節(jié)重建和神經(jīng)網(wǎng)絡(luò)查詢速度上的表現(xiàn)不足，導(dǎo)致訓(xùn)練過程緩慢，增加了渲染的計(jì)算負(fù)擔(dān)。
2、為了克服這些限制，三維高斯?jié)姙R(3d?gaussian?splatting，3dgs)方法被提出。該方法采用顯式的高斯球表征三維空間，通過高斯分布模擬空間中的幾何與顏色信息，顯著提升了渲染質(zhì)量和速度。與nerf相比，三維高斯?jié)姙R在處理更復(fù)雜、更大規(guī)模的場景時(shí)具有更優(yōu)的表現(xiàn)，其高斯球的顯式表征能夠更高效地處理場景中的復(fù)雜結(jié)構(gòu)和細(xì)節(jié)，被認(rèn)為是一種更適合三維重建的技術(shù)方案。
3、盡管實(shí)現(xiàn)了高效率的逼真靜態(tài)場景渲染。然而，對(duì)于動(dòng)態(tài)場景，獨(dú)立逐幀建模3dgs方法忽略了時(shí)間一致性，導(dǎo)致視覺偽影和模型尺寸增長。一些方法通過在時(shí)間上建模高斯屬性來表示動(dòng)態(tài)場景作為一個(gè)統(tǒng)一模型，提高了質(zhì)量但需要同時(shí)加載所有數(shù)據(jù)，這限制了在長序列流媒體中的實(shí)用應(yīng)用。其他方法逐幀跟蹤高斯運(yùn)動(dòng)，適合流媒體，但每幀的大數(shù)據(jù)量阻礙了傳輸效率。這為3dgs的動(dòng)態(tài)建模方法提出了很高的要求。
4、此外，傳統(tǒng)的3dgs運(yùn)行在用戶的主機(jī)設(shè)備上，這需要用戶提供高端gpu設(shè)備來進(jìn)行3dgs渲染。而且該方案每次只支持單個(gè)場景渲染，極大限制了3dgs的渲染體驗(yàn)。為了讓3dgs的渲染能夠惠及每個(gè)用戶而不需要高端gpu設(shè)備，需要可以進(jìn)行云渲染的平臺(tái)，同時(shí)允許多個(gè)用戶從不同視角查看相同的3dgs對(duì)象。然而，為每個(gè)用戶單獨(dú)進(jìn)行渲染可能導(dǎo)致高延遲和渲染性能下降。因此，需要一個(gè)高效的調(diào)度器將多個(gè)渲染任務(wù)分配給最適合的顯卡，以提高硬件利用率、渲染性能以及數(shù)據(jù)一致性。然而，現(xiàn)有工作主要集中在以任務(wù)為單位的調(diào)度策略，這會(huì)引入上下文切換開銷，并導(dǎo)致顯卡利用率較低。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述技術(shù)缺陷之一，本申請(qǐng)實(shí)施例中提供了一種動(dòng)態(tài)場景三維重建方法、云平臺(tái)、系統(tǒng)、設(shè)備和存儲(chǔ)介質(zhì)。
2、根據(jù)本申請(qǐng)實(shí)施例的第一個(gè)方面，提供了一種動(dòng)態(tài)場景三維重建方法，該方法包括：
3、通過高斯?jié)姙R方式對(duì)動(dòng)態(tài)場景中的關(guān)鍵幀靜態(tài)場景進(jìn)行三維重建訓(xùn)練，以獲取關(guān)鍵幀場景高斯球；
4、根據(jù)關(guān)鍵幀場景高斯球，以關(guān)鍵幀的特征為基準(zhǔn)，通過殘差特征描述動(dòng)態(tài)場景中非關(guān)鍵幀與關(guān)鍵幀的差異；
5、將殘差特征與關(guān)鍵幀的特征相加恢復(fù)完整場景信息，對(duì)動(dòng)態(tài)場景進(jìn)行渲染，以完成動(dòng)態(tài)場景的三維重建。
6、在本申請(qǐng)一個(gè)可選的實(shí)施例中，通過高斯?jié)姙R方式對(duì)動(dòng)態(tài)場景中的關(guān)鍵幀靜態(tài)場景進(jìn)行三維重建訓(xùn)練，以獲取關(guān)鍵幀場景高斯球的步驟還包括：
7、以相同訓(xùn)練損失先后進(jìn)行第一階段三維重建訓(xùn)練和第二階段三維重建訓(xùn)練，完成第一階段三維重建訓(xùn)練后，篩除不透明度排名后于預(yù)設(shè)排名閾值的高斯球，再進(jìn)行第二階段三維重建訓(xùn)練，第二階段三維重建訓(xùn)練中保持高斯球數(shù)量不變，以提高關(guān)鍵幀場景高斯球保真度并消除冗余。
8、在本申請(qǐng)一個(gè)可選的實(shí)施例中，根據(jù)關(guān)鍵幀場景高斯球，以關(guān)鍵幀的特征為基準(zhǔn)，通過殘差特征描述動(dòng)態(tài)場景中非關(guān)鍵幀與關(guān)鍵幀的差異的步驟還包括：
9、通過高斯球組形式對(duì)動(dòng)態(tài)場景進(jìn)行分割，以消除累積重建誤差。
10、在本申請(qǐng)一個(gè)可選的實(shí)施例中，將殘差特征與關(guān)鍵幀的特征相加恢復(fù)完整場景信息，對(duì)動(dòng)態(tài)場景進(jìn)行渲染，以完成動(dòng)態(tài)場景的三維重建的步驟還包括：
11、將每一非關(guān)鍵幀每個(gè)特征的每個(gè)通道，以灰度圖形式保存并進(jìn)行拼接，進(jìn)一步壓縮后以視頻形式保存，以減少數(shù)據(jù)冗余。
12、根據(jù)本申請(qǐng)實(shí)施例的第二個(gè)方面，提供了一種動(dòng)態(tài)場景三維重建云平臺(tái)，包括：
13、主節(jié)點(diǎn)，用于進(jìn)行基于高斯?jié)姙R的動(dòng)態(tài)場景三維重建任務(wù)的負(fù)載均衡調(diào)度；
14、子節(jié)點(diǎn)，與主節(jié)點(diǎn)通信連接，通過執(zhí)行如權(quán)利要求1至4中任一項(xiàng)的動(dòng)態(tài)場景三維重建方法，對(duì)每個(gè)單獨(dú)的動(dòng)態(tài)場景三維重建對(duì)象的顏色和深度信息進(jìn)行渲染；子節(jié)點(diǎn)的渲染結(jié)果同步傳輸至主節(jié)點(diǎn)。
15、在本申請(qǐng)一個(gè)可選的實(shí)施例中，主節(jié)點(diǎn)還包括：
16、根據(jù)深度信息對(duì)不同動(dòng)態(tài)場景執(zhí)行融合。
17、在本申請(qǐng)一個(gè)可選的實(shí)施例中，云平臺(tái)通過webrtc協(xié)議進(jìn)行與客戶端之間的點(diǎn)對(duì)點(diǎn)通信，并通過webrtc協(xié)議的數(shù)據(jù)通道傳輸客戶端的攝像頭控制信息和視角矩陣。
18、根據(jù)本申請(qǐng)實(shí)施例的第三個(gè)方面，提供了一種動(dòng)態(tài)場景三維重建系統(tǒng)，該系統(tǒng)包括關(guān)鍵幀重建模塊、動(dòng)態(tài)殘差表征模塊和動(dòng)態(tài)場景重建模塊；其中，
19、關(guān)鍵幀重建模塊，用于通過高斯?jié)姙R方式對(duì)動(dòng)態(tài)場景中的關(guān)鍵幀靜態(tài)場景進(jìn)行三維重建訓(xùn)練，以獲取關(guān)鍵幀場景高斯球；
20、動(dòng)態(tài)殘差表征模塊，用于根據(jù)關(guān)鍵幀場景高斯球，以關(guān)鍵幀的特征為基準(zhǔn)，通過殘差特征描述動(dòng)態(tài)場景中非關(guān)鍵幀與關(guān)鍵幀的差異；
21、動(dòng)態(tài)場景重建模塊，用于將殘差特征與關(guān)鍵幀的特征相加恢復(fù)完整場景信息，對(duì)動(dòng)態(tài)場景進(jìn)行渲染，以完成動(dòng)態(tài)場景的三維重建。
22、根據(jù)本申請(qǐng)實(shí)施例的第四個(gè)方面，提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器；
23、處理器；以及計(jì)算機(jī)程序；其中，計(jì)算機(jī)程序存儲(chǔ)在存儲(chǔ)器中，并被配置為由處理器執(zhí)行以實(shí)現(xiàn)如本申請(qǐng)實(shí)施例的第一個(gè)方面中任一項(xiàng)的動(dòng)態(tài)場景三維重建方法。
24、根據(jù)本申請(qǐng)實(shí)施例的第五個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序；計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)如本申請(qǐng)實(shí)施例的第一個(gè)方面中任一項(xiàng)的動(dòng)態(tài)場景三維重建方法。
25、采用本申請(qǐng)實(shí)施例中提供的一種動(dòng)態(tài)場景三維重建方法，具有以下有益效果：
26、本申請(qǐng)通過靜態(tài)關(guān)鍵幀3dgs的重建、動(dòng)態(tài)非關(guān)鍵幀3dgs殘差補(bǔ)償，實(shí)現(xiàn)了3d視頻的重建質(zhì)量的質(zhì)量提升；基于殘差思想，本申請(qǐng)采用殘差特征來表征幀與幀之間的動(dòng)態(tài)變化，而非為每一幀構(gòu)建完整場景，減少了模型參數(shù)量，并最大幅度降低了3d視頻閃爍、不一致的情況。
1.一種動(dòng)態(tài)場景三維重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)場景三維重建方法，其特征在于，所述通過高斯?jié)姙R方式對(duì)動(dòng)態(tài)場景中的關(guān)鍵幀靜態(tài)場景進(jìn)行三維重建訓(xùn)練，以獲取關(guān)鍵幀場景高斯球的步驟還包括：
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)場景三維重建方法，其特征在于，所述根據(jù)所述關(guān)鍵幀場景高斯球，以所述關(guān)鍵幀的特征為基準(zhǔn)，通過殘差特征描述所述動(dòng)態(tài)場景中非關(guān)鍵幀與所述關(guān)鍵幀的差異的步驟還包括：
4.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)場景三維重建方法，其特征在于，所述將所述殘差特征與所述關(guān)鍵幀的特征相加恢復(fù)完整場景信息，對(duì)所述動(dòng)態(tài)場景進(jìn)行渲染，以完成所述動(dòng)態(tài)場景的三維重建的步驟還包括：
5.一種動(dòng)態(tài)場景三維重建云平臺(tái)，其特征在于，包括：
6.根據(jù)權(quán)利要求5所述的動(dòng)態(tài)場景三維重建云平臺(tái)，其特征在于，所述主節(jié)點(diǎn)還包括：
7.根據(jù)權(quán)利要求5所述的動(dòng)態(tài)場景三維重建云平臺(tái)，其特征在于，所述云平臺(tái)通過webrtc協(xié)議進(jìn)行與客戶端之間的點(diǎn)對(duì)點(diǎn)通信，并通過所述webrtc協(xié)議的數(shù)據(jù)通道傳輸所述客戶端的攝像頭控制信息和視角矩陣。
8.一種動(dòng)態(tài)場景三維重建系統(tǒng)，其特征在于，包括：關(guān)鍵幀重建模塊、動(dòng)態(tài)殘差表征模塊和動(dòng)態(tài)場景重建模塊；其中，
9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序；所述計(jì)算機(jī)程序被處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1-4中任一項(xiàng)的動(dòng)態(tài)場景三維重建方法。