本申請涉及人工智能，尤其是一種基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法及裝置。
背景技術：
1、隨著人工智能、虛擬現實和神經影像技術的迅速發(fā)展，ai生成的虛擬分身在社交媒體、在線娛樂及商業(yè)推廣中扮演著越來越重要的角色。虛擬分身認同度指消費者對由人工智能生成的虛擬分身在外觀、行為及個性等方面的認同感和親和力，該指標不僅反映了消費者對虛擬分身的情感投入，還體現了其對虛擬形象與自身身份契合程度的主觀評價?，F有虛擬分身的評估方法主要依賴問卷調查或單一數據源，這種方法不僅數據維度單一，而且極易受到主觀認知的影響，難以客觀反映消費者真實的心理反應。
技術實現思路
1、本申請的目的在于克服現有技術中對虛擬分身進行評估時存在的維度單一以及主觀認知干擾所導致的難以客觀的對虛擬分身進行評估的問題，提供一種基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法及裝置。
2、第一方面，提供了一種基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，包括：
3、獲取受試者數據，其中，所述受試者數據包括觀看由ai軟件生成被試虛擬分身靜態(tài)圖像的受試者的眼動數據、fmri數據和行為數據；
4、對所述受試者數據進行預處理；
5、提取預處理后的受試者數據中的關鍵特征；
6、采用晚期融合策略和跨模態(tài)注意力機制實現所述關鍵特征的動態(tài)加權融合以獲得多模態(tài)特征；
7、基于所述多模態(tài)特征構建分身認同度預測模型；
8、利用所述分身認同度預測模型進行ai生成虛擬分身的認同度評估以輸出評估結果。
9、在一些可能的實現方式中，通過交互式界面輸出評估結果，其中，所述評估結果包括虛擬分身認同度預測評分及其置信區(qū)間、各模態(tài)在融合過程中貢獻權重的分布圖以及利用雷達圖、熱力圖和折線圖展示各模態(tài)特征貢獻及其隨時間變化的動態(tài)趨勢，交互式界面用于實現數據導出和交互式數據篩選。
10、在一些可能的實現方式中，所述fmri數據為通過功能性磁共振成像設備采集的bold信號，所述行為數據包括主觀評分和反應時長。
11、在一些可能的實現方式中，對所述眼動數據進行預處理包括：數據格式轉換，采用低通濾波等方法去除眨眼期間噪聲，檢測穩(wěn)定注視點，濾除異常數據；對fmri數據進行預處理包括：利用剛性變換進行頭動校正，進行時間層校正、空間標準化、采用gaussian平滑和頻域帶通濾波處理；對行為數據進行預處理包括：清洗、處理缺失值和異常值，進行數據標準化，針對眼動數據、fmri數據及行為數據的不同特點設計專門的預處理流程，確保了數據質量。
12、在一些可能的實現方式中，預處理后的眼動數據的關鍵特征包括注視時長、掃視速度和注視熱圖分布；預處理后的fmri數據的關鍵特征包括神經評分，所述神經評分的計算公式為：score?=?(∑_voxel?(bold_voxel?×?weight_voxel))?/?(∑_voxel?weight_voxel)，其中，bold_voxel為每個體素血氧水平依賴（bold）信號強度值，weight_voxel表示該體素在認同度預測任務中所對應的重要性權重，采用統(tǒng)計參數法來確定?weight_voxel；預處理后的行為數據的關鍵特征包括通過統(tǒng)計受試者主觀評分構成的定量特征向量。
13、在一些可能的實現方式中，采用晚期融合策略和跨模態(tài)注意力機制實現所述關鍵特征的動態(tài)加權融合，包括：
14、對所述關鍵特征進行編碼以得到固定維度的編碼向量；
15、通過全連接層生成查詢向量q，并為每一模態(tài)生成鍵向量ki和值向量vi；
16、計算每個模態(tài)的匹配得分si:?si=f(q,?ki)，其中，f(·)包括縮放點積；
17、采用softmax函數歸一化匹配得分，得到權重：
18、；
19、其中，表示每個模態(tài)的注意力權重，i表示當前正在計算注意力權重的那個模態(tài)，j代表所有模態(tài)的索引；si為匹配得分，exp（si）表示匹配得分si的指數形式，表示對所有模態(tài)j的匹配得分的指數形式求和；
20、?將各模態(tài)的編碼向量按對應的注意力權重進行加權求和，得到統(tǒng)一的多模態(tài)特征表示ffusion：
21、ffusion=∑i?αi·vi
22、其中，vi是來自第i個模態(tài)的值向量。
23、在一些可能的實現方式中，基于所述多模態(tài)特征構建分身認同度預測模型，包括：
24、將多模態(tài)特征與虛擬分身認同度標簽構成數據集；
25、將數據集按照預設比例劃分為訓練集與測試集；
26、構建基于多層感知機或卷積神經網絡的回歸預測模型；
27、利用訓練集與測試集對所述回歸預測模型進行訓練；
28、對回歸預測模型進行交叉驗證和性能評估，并通過多重比較校正控制假陽性率，以獲得分身認同度預測模型。
29、第二方面，提供了一種基于多模態(tài)數據融合的ai生成虛擬分身認同度評估裝置，包括：
30、數據獲取模塊，用于獲取受試者數據，其中，所述受試者數據包括觀看由ai軟件生成被試虛擬分身靜態(tài)圖像的受試者的眼動數據、fmri數據和行為數據；
31、預處理模塊，用于對所述受試者數據進行預處理；
32、特征提取模塊，用于提取預處理后的受試者數據中的關鍵特征；
33、加權融合模塊，用于采用晚期融合策略和跨模態(tài)注意力機制實現所述關鍵特征的動態(tài)加權融合以獲得多模態(tài)特征；
34、模型構建模塊，用于基于所述多模態(tài)特征構建分身認同度預測模型；
35、預測模塊，用于利用所述分身認同度預測模型進行ai生成虛擬分身的認同度評估以輸出評估結果。
36、第三方面，提供了一種計算機可讀存儲介質，所述計算機可讀介質存儲用于設備執(zhí)行的程序代碼，該程序代碼包括用于執(zhí)行如上述第一方面中的任意一種實現方式中方法的步驟。
37、第四方面，提供了一種電子設備，所述電子設備包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現如上述第一方面中的任意一種實現方式中的方法。
38、本申請具有如下有益效果：通過采用晚期融合與跨模態(tài)注意力機制眼動數據、fmri數據及行為數據中的關鍵特征進行融合，能夠充分挖掘各模態(tài)間互補信息，對于提高虛擬分身認同度的預測精度和客觀性具有重要理論意義和實踐價值，并且，基于融合特征構建的分身認同度預測模型能夠客觀準確地評估虛擬分身認同度，顯著提高預測效果。
1.一種基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，包括：
2.根據權利要求1所述的基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，通過交互式界面輸出評估結果，其中，所述評估結果包括虛擬分身認同度預測評分及其置信區(qū)間、各模態(tài)在融合過程中貢獻權重的分布圖以及利用雷達圖、熱力圖和折線圖展示各模態(tài)特征貢獻及其隨時間變化的動態(tài)趨勢，交互式界面用于實現數據導出和交互式數據篩選。
3.根據權利要求1所述的基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，所述fmri數據為通過功能性磁共振成像設備采集的bold信號，所述行為數據包括主觀評分和反應時長。
4.根據權利要求1所述的基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，對所述眼動數據進行預處理包括：數據格式轉換，采用低通濾波等方法去除眨眼期間噪聲，檢測穩(wěn)定注視點，濾除異常數據；對fmri數據進行預處理包括：利用剛性變換進行頭動校正，進行時間層校正、空間標準化、采用gaussian平滑和頻域帶通濾波處理；對行為數據進行預處理包括：清洗、處理缺失值和異常值，進行數據標準化。
5.根據權利要求1所述的基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，預處理后的眼動數據的關鍵特征包括注視時長、掃視速度和注視熱圖分布；預處理后的fmri數據的關鍵特征包括神經評分，所述神經評分的計算公式為：score=(∑_voxel(bold_voxel×weight_voxel))/(∑_voxelweight_voxel)，其中，bold_voxel為每個體素血氧水平依賴信號強度值，weight_voxel表示該體素在認同度預測任務中所對應的重要性權重；預處理后的行為數據的關鍵特征包括通過統(tǒng)計受試者主觀評分構成的定量特征向量。
6.根據權利要求1所述的基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，采用晚期融合策略和跨模態(tài)注意力機制實現所述關鍵特征的動態(tài)加權融合，包括：
7.根據權利要求1所述的基于多模態(tài)數據融合的ai生成虛擬分身認同度評估方法，其特征在于，基于所述多模態(tài)特征構建分身認同度預測模型，包括：
8.一種基于多模態(tài)數據融合的ai生成虛擬分身認同度評估裝置，其特征在于，包括：
9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲用于設備執(zhí)行的程序代碼，該程序代碼包括用于執(zhí)行如權利要求1-7中任一項所述方法的步驟。
10.一種電子設備，其特征在于，所述電子設備包括處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現如權利要求1-7中任一項所述方法。