本公開涉及計算機，具體地，涉及一種多模融合數(shù)據(jù)處理方法、裝置、介質(zhì)、電子設(shè)備和程序產(chǎn)品。

背景技術(shù)：

1、多模融合數(shù)據(jù)庫，是一種集成式智能型數(shù)據(jù)庫，能夠執(zhí)行存儲、訪問、處理不同類型數(shù)據(jù)等各種任務(wù)，支撐多樣化的應(yīng)用服務(wù)。

2、目前，多模融合數(shù)據(jù)庫，在響應(yīng)應(yīng)用服務(wù)進行多種模態(tài)數(shù)據(jù)整合時，數(shù)據(jù)處理復(fù)雜度高，數(shù)據(jù)處理效率低，難以滿足高時效要求的服務(wù)需求。

技術(shù)實現(xiàn)思路

1、提供該
技術(shù)實現(xiàn)要素：
部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識要求保護的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護的技術(shù)方案的范圍。

2、第一方面，本公開提供一種多模融合數(shù)據(jù)處理方法，包括：

3、接收多模數(shù)據(jù)檢索語句，解析所述多模數(shù)據(jù)檢索語句并轉(zhuǎn)譯成多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)檢索語句；

4、根據(jù)每個單模數(shù)據(jù)檢索語句分別在多模數(shù)據(jù)庫中對應(yīng)的單模數(shù)據(jù)庫中進行數(shù)據(jù)檢索得到不同模態(tài)的目標(biāo)數(shù)據(jù)；其中，所述多模數(shù)據(jù)庫中維護有多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)庫，并針對每個單模數(shù)據(jù)庫獨立數(shù)據(jù)管理；

5、將檢索到的不同模態(tài)的目標(biāo)數(shù)據(jù)進行特征融合和模態(tài)對齊處理生成統(tǒng)一的多模態(tài)數(shù)據(jù)表示，將所述統(tǒng)一的多模態(tài)數(shù)據(jù)表示作為檢索結(jié)果進行反饋。

6、第二方面，本公開提供一種多模融合數(shù)據(jù)處理裝置，包括：

7、解析和轉(zhuǎn)譯模塊，用于接收多模數(shù)據(jù)檢索語句，解析所述多模數(shù)據(jù)檢索語句并轉(zhuǎn)譯成多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)檢索語句；

8、檢索模塊，用于根據(jù)每個單模數(shù)據(jù)檢索語句分別在多模數(shù)據(jù)庫中對應(yīng)的單模數(shù)據(jù)庫中進行數(shù)據(jù)檢索得到不同模態(tài)的目標(biāo)數(shù)據(jù)；其中，所述多模數(shù)據(jù)庫中維護有多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)庫，并針對每個單模數(shù)據(jù)庫獨立數(shù)據(jù)管理；

9、反饋模塊，用于將檢索到的不同模態(tài)的目標(biāo)數(shù)據(jù)進行特征融合和模態(tài)對齊處理生成統(tǒng)一的多模態(tài)數(shù)據(jù)表示，將所述統(tǒng)一的多模態(tài)數(shù)據(jù)表示作為檢索結(jié)果進行反饋。

10、第三方面，本公開提供一種計算機可讀介質(zhì)，其上存儲有計算機程序，該計算機程序被處理裝置執(zhí)行時實現(xiàn)第一方面中任一項方法的步驟。

11、第四方面，本公開提供一種電子設(shè)備，包括：

12、存儲裝置，其上存儲有計算機程序；

13、處理裝置，用于執(zhí)行存儲裝置中的計算機程序，以實現(xiàn)第一方面中任一項方法的步驟。

14、第五方面，本公開提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)第一方面中任一項的方法的步驟。

15、通過采用上述技術(shù)方案，能夠接收多模數(shù)據(jù)檢索語句，解析多模數(shù)據(jù)檢索語句并轉(zhuǎn)譯成多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)檢索語句，根據(jù)每個單模數(shù)據(jù)檢索語句分別在多模數(shù)據(jù)庫中對應(yīng)的單模數(shù)據(jù)庫中進行數(shù)據(jù)檢索得到不同模態(tài)的目標(biāo)數(shù)據(jù)，其中，多模數(shù)據(jù)庫中維護有多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)庫，并針對每個單模數(shù)據(jù)庫獨立數(shù)據(jù)管理，然后將檢索到的不同模態(tài)的目標(biāo)數(shù)據(jù)進行特征融合和模態(tài)對齊處理生成統(tǒng)一的多模態(tài)數(shù)據(jù)表示，將統(tǒng)一的多模態(tài)數(shù)據(jù)表示作為檢索結(jié)果進行反饋，這樣，在響應(yīng)應(yīng)用服務(wù)進行多種模態(tài)數(shù)據(jù)整合時，能夠降低數(shù)據(jù)處理復(fù)雜度，提高數(shù)據(jù)處理效率，滿足高時效要求的服務(wù)需求。

16、本公開的其他特征和優(yōu)點將在隨后的具體實施方式部分予以詳細(xì)說明。

技術(shù)特征：

1.一種多模融合數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述解析所述多模數(shù)據(jù)檢索語句，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述多模數(shù)據(jù)庫的數(shù)據(jù)分布、統(tǒng)計信息以及轉(zhuǎn)譯得到的所述單模數(shù)據(jù)檢索語句的復(fù)雜度，對轉(zhuǎn)譯得到的所述單模數(shù)據(jù)檢索語句進行優(yōu)化，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)每個單模數(shù)據(jù)檢索語句分別在多模數(shù)據(jù)庫中對應(yīng)的單模數(shù)據(jù)庫中進行數(shù)據(jù)檢索得到不同模態(tài)的目標(biāo)數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將檢索到的不同模態(tài)的目標(biāo)數(shù)據(jù)進行特征融合和模態(tài)對齊處理，包括：

7.根據(jù)權(quán)利要求2、5或6所述的方法，其特征在于，所述方法還包括：

8.一種多模融合數(shù)據(jù)處理裝置，其特征在于，包括：

9.一種計算機可讀介質(zhì)，其上存儲有計算機程序，其特征在于，該計算機程序被處理裝置執(zhí)行時實現(xiàn)權(quán)利要求1-7中任一項所述方法的步驟。

10.一種電子設(shè)備，其特征在于，包括：

11.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-7中任一項所述的方法的步驟。

技術(shù)總結(jié)
一種多模融合數(shù)據(jù)處理方法、裝置、介質(zhì)、電子設(shè)備和程序產(chǎn)品，屬于計算機技術(shù)領(lǐng)域，能夠在響應(yīng)應(yīng)用服務(wù)進行多種模態(tài)數(shù)據(jù)整合時，降低數(shù)據(jù)處理復(fù)雜度，滿足高時效要求的服務(wù)需求。一種多模融合數(shù)據(jù)處理方法，包括：接收多模數(shù)據(jù)檢索語句，解析多模數(shù)據(jù)檢索語句并轉(zhuǎn)譯成多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)檢索語句；根據(jù)每個單模數(shù)據(jù)檢索語句分別在多模數(shù)據(jù)庫中對應(yīng)的單模數(shù)據(jù)庫中進行數(shù)據(jù)檢索得到不同模態(tài)的目標(biāo)數(shù)據(jù)；其中多模數(shù)據(jù)庫中維護有多個模態(tài)各自對應(yīng)的單模數(shù)據(jù)庫并針對每個單模數(shù)據(jù)庫獨立數(shù)據(jù)管理；將檢索到的不同模態(tài)的目標(biāo)數(shù)據(jù)進行特征融合和模態(tài)對齊處理生成統(tǒng)一的多模態(tài)數(shù)據(jù)表示，將統(tǒng)一的多模態(tài)數(shù)據(jù)表示作為檢索結(jié)果進行反饋。

技術(shù)研發(fā)人員：許力
受保護的技術(shù)使用者：北京火山引擎科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/6/3