本發(fā)明涉及圖像處理，具體而言，涉及一種低光照圖像的增強(qiáng)方法及裝置、存儲介質(zhì)、電子裝置。

背景技術(shù)：

1、相關(guān)技術(shù)中，三維場景重建和新視圖合成是計(jì)算機(jī)視覺領(lǐng)域中長期存在的復(fù)雜任務(wù)，其目標(biāo)是從一組二維圖像中恢復(fù)場景的三維結(jié)構(gòu)。這一技術(shù)在虛擬現(xiàn)實(shí)（vr）、自動駕駛等多個應(yīng)用領(lǐng)域發(fā)揮著至關(guān)重要的作用。近年來，隱式表示方法，尤其是神經(jīng)輻射場（neural?radiance?fields,?以下簡稱nerf）及其衍生模型，已在從任意視點(diǎn)生成逼真圖像方面取得了顯著進(jìn)展。盡管nerf在創(chuàng)建逼真圖像方面表現(xiàn)出色，但市場對于更快、更高效的渲染方法的需求日益增長，特別是對于那些需要實(shí)時性能的應(yīng)用。3dgs（3d?gaussiansplatting，三維高斯濺射）技術(shù)是近年來提出的一種新的三維場景表示和視圖合成方法。3dgs技術(shù)通過使用數(shù)以百萬計(jì)的三維高斯函數(shù)來明確地表示場景，這些高斯函數(shù)在渲染過程中被投影到圖像平面上，與隱式表示方法相比，3dgs技術(shù)利用了可微分渲染管線和基于點(diǎn)的渲染技術(shù)的優(yōu)勢，提供了一種高效的計(jì)算和渲染流程，避免了傳統(tǒng)nerf方法的高計(jì)算成本問題。

2、盡管3dgs技術(shù)在渲染效率和場景動態(tài)控制方面取得了顯著進(jìn)展，但在低光照條件下，其性能仍然受限。在低光照條件下，如夜晚、陰天或地下空間，物體表面的光反射弱，導(dǎo)致圖像受到逆光、不均勻照明、低對比度和密集噪聲的影響，這使得實(shí)現(xiàn)理想的捕獲效果和關(guān)鍵信息變得困難。由于光子數(shù)量少，相機(jī)的噪聲也被相對放大，進(jìn)一步埋沒了場景細(xì)節(jié)并扭曲了物體顏色。這些低光照圖像的特征使得現(xiàn)有的3dgs技術(shù)難以生成高質(zhì)量的新視角圖像。

3、在視圖合成領(lǐng)域，增強(qiáng)低光照圖像并恢復(fù)其細(xì)節(jié)對于提高三維場景重建的質(zhì)量至關(guān)重要。目前，二維的低光照圖像增強(qiáng)技術(shù)是提高新視圖合成可用性的直接且關(guān)鍵步驟。盡管直接增強(qiáng)輸入圖像的亮度看似簡單，但現(xiàn)有方法在保持多視圖間照明一致性方面存在一些限制。現(xiàn)有的低光照圖像增強(qiáng)技術(shù)通常專注于提高單幅圖像的亮度，但往往忽略了不同圖像之間照明一致性的重要性。此外，基于深度學(xué)習(xí)的增強(qiáng)方法往往從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)特定的亮度映射，這限制了在未知或野外場景中的泛化能力。

4、在處理低光照條件下捕獲的圖像時，現(xiàn)有方法難以實(shí)現(xiàn)高保真的顏色信息捕捉和有效的場景細(xì)節(jié)恢復(fù)，使得三維場景重建和新視圖合成的質(zhì)量較低。

5、針對相關(guān)技術(shù)中存在的上述問題，暫未發(fā)現(xiàn)高效且準(zhǔn)確的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種低光照圖像的增強(qiáng)方法及裝置、存儲介質(zhì)、電子裝置，以解決相關(guān)技術(shù)中的技術(shù)問題。

2、根據(jù)本發(fā)明的一個實(shí)施例，提供了一種低光照圖像的增強(qiáng)方法，包括：獲取低光照場景的低光照圖像，其中，所述低光照圖像是亮度低于閾值的圖像；獲取所述低光照圖像的相機(jī)位姿和場景稀疏點(diǎn)云；采用所述相機(jī)位姿和所述場景稀疏點(diǎn)云對所述低光照圖像進(jìn)行三維場景重建，得到所述低光照圖像的高斯球分布；構(gòu)建所述高斯球分布的吸收率屬性，其中，所述吸收率屬性用于描述物體對投射到其表面的輻射能量的吸收能力；根據(jù)所述吸收率屬性對所述高斯球分布進(jìn)行光照增強(qiáng)，得到所述低光照圖像的場景重建視圖。

3、可選的，獲取所述低光照圖像的相機(jī)位姿和場景稀疏點(diǎn)云包括：對所述低光照圖像進(jìn)行圖像標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)低光照圖像；對所述標(biāo)準(zhǔn)低光照圖像進(jìn)行相機(jī)位姿估計(jì)，得到相機(jī)位姿，對所述標(biāo)準(zhǔn)低光照圖像中的物體進(jìn)行運(yùn)動恢復(fù)，得到場景稀疏點(diǎn)云。

4、可選的，采用所述相機(jī)位姿和所述場景稀疏點(diǎn)云對所述低光照圖像進(jìn)行三維場景重建，得到所述低光照圖像的高斯球分布，包括：將所述場景稀疏點(diǎn)云初始化為一組表示三維場景的參數(shù)化三維高斯基元；利用所述相機(jī)位姿將所述參數(shù)化三維高斯基元投影至二維成像平面，得到二維高斯分布；對所述二維高斯分布進(jìn)行三維場景重建，得到所述低光照圖像的高斯球分布。

5、可選的，對所述二維高斯分布進(jìn)行三維場景重建，得到所述低光照圖像的高斯球分布包括：確定所述二維高斯分布在三維空間中的深度信息；按照所述深度信息在成像平面上對所述二維高斯分布進(jìn)行排序，得到所述低光照圖像的高斯球分布。

6、可選的，構(gòu)建所述高斯球分布的吸收率屬性包括：獲取所述高斯球分布的高斯中心坐標(biāo)；將所述高斯中心坐標(biāo)轉(zhuǎn)換為高維向量，得到高斯球分布空間特征；采用所述高斯中心坐標(biāo)和所述高斯球分布空間特征構(gòu)建所述高斯球分布的吸收率屬性。

7、可選的，采用所述高斯中心坐標(biāo)和所述高斯球分布空間特征構(gòu)建所述高斯球分布的吸收率屬性包括：將所述高斯中心坐標(biāo)和所述高斯球分布空間特征輸入至多層感知機(jī)mlp網(wǎng)絡(luò)第一部分全連接層，輸出相機(jī)位姿特征向量和高斯球分布特征向量；將所述相機(jī)位姿特征向量和所述高斯球分布特征向量進(jìn)行拼接后輸入至所述mlp網(wǎng)絡(luò)的第二部分全連接層，輸出場景特征；利用所述mlp網(wǎng)絡(luò)中的激活函數(shù)對所述場景特征進(jìn)行激活處理，得到所述吸收率屬性。

8、可選的，根據(jù)所述吸收率屬性對所述高斯球分布進(jìn)行光照增強(qiáng)，得到所述低光照圖像的場景重建視圖，包括：將所述高斯球分布投影到二維平面，并根據(jù)所述吸收率屬性進(jìn)行低光照混合渲染，得到低光照下場景圖；將所述高斯球分布投影到二維平面，并對所述高斯球分布進(jìn)行增強(qiáng)光照混合渲染，得到增強(qiáng)光照場景圖；將所述高斯球分布投影到二維平面，并根據(jù)所述吸收率屬性進(jìn)行光照強(qiáng)度混合渲染，得到場景光照強(qiáng)度圖；整合所述低光照下場景圖、所述增強(qiáng)光照場景圖以及所述場景光照強(qiáng)度圖，得到所述低光照圖像的場景重建視圖。

9、可選的，將所述高斯球分布投影到二維平面，并根據(jù)所述吸收率屬性進(jìn)行低光照混合渲染，得到低光照下場景圖包括：采用以下混合渲染公式計(jì)算得到低光照下場景圖：；其中，為低光照下場景圖中每個像素的顏色，n為所述高斯球分布的集合中元素的個數(shù)，i為索引，代表當(dāng)前累加的三維高斯球分布，為所述吸收率屬性的吸收系數(shù)，為三維高斯球分布i投影到二維成像平面的顏色，是一個三維向量，表示rgb三個顏色通道的值，是一個介于0和1之間的值，用于表示三維高斯球分布i對低光照下場景圖中像素顏色的貢獻(xiàn)度。

10、可選的，將所述高斯球分布投影到二維平面，并對所述高斯球分布進(jìn)行增強(qiáng)光照混合渲染，得到增強(qiáng)光照場景圖，包括：采用以下混合渲染公式計(jì)算得到增強(qiáng)光照場景圖：；其中，為增強(qiáng)光照場景圖中每個像素的顏色，n為所述高斯球分布的集合中元素的個數(shù)，i為索引，代表當(dāng)前累加的三維高斯球分布，為三維高斯球分布i投影到二維成像平面的顏色，是一個三維向量，表示rgb三個顏色通道的值，是一個介于0和1之間的值，用于表示三維高斯球分布i對增強(qiáng)光照場景圖中像素顏色的貢獻(xiàn)度。

11、可選的，將所述高斯球分布投影到二維平面，并根據(jù)所述吸收率屬性進(jìn)行光照強(qiáng)度混合渲染，得到場景光照強(qiáng)度圖，包括：采用以下混合渲染公式計(jì)算得到場景光照強(qiáng)度圖：；其中，為場景光照強(qiáng)度圖像中每個像素的顏色，n為所述高斯球分布的集合中元素的個數(shù)，i為索引，代表當(dāng)前累加的三維高斯球分布，為所述吸收率屬性的吸收系數(shù)，是一個介于0和1之間的值，用于表示三維高斯球分布i對場景光照強(qiáng)度圖中像素顏色的貢獻(xiàn)度。

12、根據(jù)本發(fā)明的另一個實(shí)施例，提供了一種低光照圖像的增強(qiáng)裝置，包括：第一獲取模塊，用于獲取低光照場景的低光照圖像，其中，所述低光照圖像是亮度低于閾值的圖像；第二獲取模塊，用于獲取所述低光照圖像的相機(jī)位姿和場景稀疏點(diǎn)云；重建模塊，用于采用所述相機(jī)位姿和所述場景稀疏點(diǎn)云對所述低光照圖像進(jìn)行三維場景重建，得到所述低光照圖像的高斯球分布；構(gòu)建模塊，用于構(gòu)建所述高斯球分布的吸收率屬性，其中，所述吸收率屬性用于描述物體對投射到其表面的輻射能量的吸收能力；增強(qiáng)模塊，用于根據(jù)所述吸收率屬性對所述高斯球分布進(jìn)行光照增強(qiáng)，得到所述低光照圖像的場景重建視圖。

13、可選的，所述第二獲取模塊包括：第一處理單元，用于對所述低光照圖像進(jìn)行圖像標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)低光照圖像；第二處理單元，用于對所述標(biāo)準(zhǔn)低光照圖像進(jìn)行相機(jī)位姿估計(jì)，得到相機(jī)位姿，對所述標(biāo)準(zhǔn)低光照圖像中的物體進(jìn)行運(yùn)動恢復(fù)，得到場景稀疏點(diǎn)云。

14、可選的，所述重建模塊包括：初始化單元，用于將所述場景稀疏點(diǎn)云初始化為一組表示三維場景的參數(shù)化三維高斯基元；投影單元，用于利用所述相機(jī)位姿將所述參數(shù)化三維高斯基元投影至二維成像平面，得到二維高斯分布；重建單元，用于對所述二維高斯分布進(jìn)行三維場景重建，得到所述低光照圖像的高斯球分布。

15、可選的，所述重建單元包括：確定子單元，用于確定所述二維高斯分布在三維空間中的深度信息；排序子單元，用于按照所述深度信息在成像平面上對所述二維高斯分布進(jìn)行排序，得到所述低光照圖像的高斯球分布。

16、可選的，所述構(gòu)建模塊包括：獲取單元，用于獲取所述高斯球分布的高斯中心坐標(biāo)；轉(zhuǎn)換單元，用于將所述高斯中心坐標(biāo)轉(zhuǎn)換為高維向量，得到高斯球分布空間特征；構(gòu)建單元，用于采用所述高斯中心坐標(biāo)和所述高斯球分布空間特征構(gòu)建所述高斯球分布的吸收率屬性。

17、可選的，所述構(gòu)建單元包括：第一處理單元，用于將所述高斯中心坐標(biāo)和所述高斯球分布空間特征輸入至多層感知機(jī)mlp網(wǎng)絡(luò)第一部分全連接層，輸出相機(jī)位姿特征向量和高斯球分布特征向量；第二處理單元，用于將所述相機(jī)位姿特征向量和所述高斯球分布特征向量進(jìn)行拼接后輸入至所述mlp網(wǎng)絡(luò)的第二部分全連接層，輸出場景特征；激活單元，用于利用所述mlp網(wǎng)絡(luò)中的激活函數(shù)對所述場景特征進(jìn)行激活處理，得到所述吸收率屬性。

18、可選的，所述增強(qiáng)模塊包括：第一渲染單元，用于將所述高斯球分布投影到二維平面，并根據(jù)所述吸收率屬性進(jìn)行低光照混合渲染，得到低光照下場景圖；第二渲染單元，用于將所述高斯球分布投影到二維平面，并對所述高斯球分布進(jìn)行增強(qiáng)光照混合渲染，得到增強(qiáng)光照場景圖；第三渲染單元，用于將所述高斯球分布投影到二維平面，并根據(jù)所述吸收率屬性進(jìn)行光照強(qiáng)度混合渲染，得到場景光照強(qiáng)度圖；整合單元，用于整合所述低光照下場景圖、所述增強(qiáng)光照場景圖以及所述場景光照強(qiáng)度圖，得到所述低光照圖像的場景重建視圖。

19、可選的，所述第一渲染單元包括：計(jì)算子單元，用于采用以下混合渲染公式計(jì)算得到低光照下場景圖：；其中，為低光照下場景圖中每個像素的顏色，n為所述高斯球分布的集合中元素的個數(shù)，i為索引，代表當(dāng)前累加的三維高斯球分布，為所述吸收率屬性的吸收系數(shù)，為三維高斯球分布i投影到二維成像平面的顏色，是一個三維向量，表示rgb三個顏色通道的值，是一個介于0和1之間的值，用于表示三維高斯球分布i對低光照下場景圖中像素顏色的貢獻(xiàn)度。

20、可選的，所述第二渲染單元包括：計(jì)算子單元，用于采用以下混合渲染公式計(jì)算得到增強(qiáng)光照場景圖：；其中，為增強(qiáng)光照場景圖中每個像素的顏色，n為所述高斯球分布的集合中元素的個數(shù)，i為索引，代表當(dāng)前累加的三維高斯球分布，為三維高斯球分布i投影到二維成像平面的顏色，是一個三維向量，表示rgb三個顏色通道的值，是一個介于0和1之間的值，用于表示三維高斯球分布i對增強(qiáng)光照場景圖中像素顏色的貢獻(xiàn)度。

21、可選的，所述第三渲染單元包括：計(jì)算子單元，用于采用以下混合渲染公式計(jì)算得到場景光照強(qiáng)度圖：；其中，為場景光照強(qiáng)度圖像中每個像素的顏色，n為所述高斯球分布的集合中元素的個數(shù)，i為索引，代表當(dāng)前累加的三維高斯球分布，為所述吸收率屬性的吸收系數(shù)，是一個介于0和1之間的值，用于表示三維高斯球分布i對場景光照強(qiáng)度圖中像素顏色的貢獻(xiàn)度。

22、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種存儲介質(zhì)，該存儲介質(zhì)包括存儲的程序，程序運(yùn)行時執(zhí)行上述的步驟。

23、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種電子設(shè)備，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；其中：存儲器，用于存放計(jì)算機(jī)程序；處理器，用于通過運(yùn)行存儲器上所存放的程序來執(zhí)行上述方法中的步驟。

24、本技術(shù)實(shí)施例還提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在計(jì)算機(jī)上運(yùn)行時，使得計(jì)算機(jī)執(zhí)行上述方法中的步驟。

25、本發(fā)明的有益效果：

26、1、提高低光照場景圖像三維重建及光照增強(qiáng)的準(zhǔn)確性，并能夠在光照條件不理想的情況下重建高質(zhì)量的場景重建視圖，有效地保留低光照圖像的場景細(xì)節(jié)；

27、2、通過獲取低光照圖像的相機(jī)位姿和場景稀疏點(diǎn)云，可以確定相機(jī)在拍攝時的位置信息和方向信息，可以重建低光照圖像在不同相機(jī)位姿下的視圖，結(jié)合場景稀疏點(diǎn)云，可以獲取到三維場景重建時的幾何信息，增強(qiáng)低光照下三維場景重建的準(zhǔn)確性。