本發(fā)明涉及智能語音交互，具體為一種基于3d虛擬的語音交互方法及系統(tǒng)。

背景技術(shù)：

1、隨著計算機(jī)技術(shù)和人工智能的迅猛發(fā)展，語音識別技術(shù)已經(jīng)成為人機(jī)交互的重要手段之一。尤其是在虛擬現(xiàn)實(shí)（vr）和增強(qiáng)現(xiàn)實(shí)（ar）等沉浸式環(huán)境中，語音識別不僅為用戶提供了更加自然的交互方式，還極大地提升了用戶體驗(yàn)。然而，現(xiàn)有的語音識別系統(tǒng)在真實(shí)世界應(yīng)用中仍面臨許多挑戰(zhàn)，如語音清晰度差異、背景噪聲干擾、發(fā)音障礙用戶的適應(yīng)性問題，以及復(fù)雜環(huán)境中的上下文理解等。

2、傳統(tǒng)的語音識別系統(tǒng)通常基于靜態(tài)模型，利用固定的特征和算法對語音信號進(jìn)行處理。這些系統(tǒng)雖然能夠處理標(biāo)準(zhǔn)語音輸入，但在面對不同用戶的發(fā)音、口音、語速變化以及環(huán)境噪聲等問題時，往往表現(xiàn)不佳。此外，現(xiàn)有的語音識別模型在處理復(fù)雜場景和上下文變化時缺乏足夠的自適應(yīng)能力。例如，用戶在虛擬環(huán)境中的行為、語境、歷史命令等信息，往往沒有得到有效利用，導(dǎo)致指令的生成和響應(yīng)速度受限，影響了用戶的交互體驗(yàn)。

3、目前的一些優(yōu)化方法雖然引入了深度學(xué)習(xí)等技術(shù)，改善了語音識別的精度，但大多局限于單一的語音輸入分析，忽視了用戶歷史命令和環(huán)境上下文的結(jié)合使用。具體來說，現(xiàn)有技術(shù)尚未能夠有效結(jié)合用戶的歷史交互行為和實(shí)時環(huán)境上下文信息，以動態(tài)地優(yōu)化語音識別模型和候選指令集合的生成，進(jìn)一步提高語音識別系統(tǒng)在實(shí)際應(yīng)用中的精準(zhǔn)度和響應(yīng)速度。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明解決的技術(shù)問題是：現(xiàn)有語音識別系統(tǒng)在復(fù)雜環(huán)境中無法有效結(jié)合用戶歷史命令和3d環(huán)境上下文，導(dǎo)致指令生成不精準(zhǔn)、響應(yīng)速度慢的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于3d虛擬的語音交互方法，包括：接收用戶的實(shí)時語音并進(jìn)行預(yù)處理，建立語音識別模型，分析用戶的發(fā)音特征和清晰度；

4、基于用戶的發(fā)音特征和清晰度，對語音識別模型進(jìn)行優(yōu)化；

5、結(jié)合用戶的歷史命令和當(dāng)前3d環(huán)境上下文，利用優(yōu)化后的語音識別模型生成用戶下一步的候選預(yù)測指令集合；所述候選預(yù)測指令集合包括多個候選指令；

6、識別每個候選指令的優(yōu)先級，將優(yōu)先級最高的候選指令作為用戶下一步的預(yù)測指令，優(yōu)先加載預(yù)測指令的相關(guān)資源，快速響應(yīng)用戶需求；所述識別每個候選指令的優(yōu)先級包括，根據(jù)語音清晰度評分、歷史命令的執(zhí)行頻率，以及指令與當(dāng)前環(huán)境的匹配度計算每個候選指令的優(yōu)先級。

7、作為本發(fā)明所述的基于3d虛擬的語音交互方法的一種優(yōu)選方案，其中：所述預(yù)處理包括，利用wiener濾波算法去除所述實(shí)時語音的噪聲，將去噪后的實(shí)時語音劃分為多個連續(xù)幀音頻，每一幀之間重疊部分為；利用梅爾頻率倒譜系數(shù)提取每一幀音頻的時頻特征，建立時頻特征矩陣；其中，表示重疊長度；

8、所述時頻特征包括音頻的頻譜、音高、音量、基本頻率和頻譜平坦度。

9、作為本發(fā)明所述的基于3d虛擬的語音交互方法的一種優(yōu)選方案，其中：所述語音識別模型包括，卷積神經(jīng)網(wǎng)絡(luò)層、池化層和全連接層；

10、將所述時頻特征矩陣輸入所述卷積神經(jīng)網(wǎng)絡(luò)層進(jìn)行卷積操作，提取局部特征，形成局部特征圖；所述池化層利用最大池化法減少局部特征的維度，得到關(guān)鍵局部特征圖；所述全連接層將局部特征圖和關(guān)鍵局部特征圖轉(zhuǎn)化為特征向量，構(gòu)建為全局特征圖。

11、作為本發(fā)明所述的基于3d虛擬的語音交互方法的一種優(yōu)選方案，其中：分析用戶的發(fā)音清晰度包括，使用小波變化法從所述全局特征圖提取出高頻系數(shù)和低頻系數(shù)；計算所述高頻系數(shù)的能量與所述低頻系數(shù)的能量；基于所述高頻能量與低頻能量的比值，確定語音的清晰度評分；設(shè)定清晰度評分閾值，當(dāng)所述清晰度評分清晰度評分閾值時，判定語音清晰度不足，調(diào)高容錯率；

12、分析用戶的發(fā)音特征包括，使用滑動窗口法對高頻細(xì)節(jié)系數(shù)進(jìn)行局部能量計算，找到局部能量峰值，判定為重音部分；通過計算相鄰局部能量峰值之間的平均時間間隔；設(shè)定快語速閾值和慢語速閾值，當(dāng)平均時間間隔快語速閾值時，判定語速偏快，增加卷積神經(jīng)網(wǎng)絡(luò)中高頻濾波器的權(quán)重，增強(qiáng)快速變化音節(jié)的捕捉能力；當(dāng)平均時間間隔慢語速閾值，判定語速偏慢，增加卷積神經(jīng)網(wǎng)絡(luò)中低頻濾波器的權(quán)重，增強(qiáng)慢節(jié)奏語音的識別能力。

13、作為本發(fā)明所述的基于3d虛擬的語音交互方法的一種優(yōu)選方案，其中：所述生成用戶下一步的候選預(yù)測指令集合包括，接收用戶的歷史指令序列；利用長短期記憶網(wǎng)絡(luò)將所述歷史命令序列轉(zhuǎn)化為時序特征，生成歷史命令的隱狀態(tài)，并通過遞歸更新所述隱狀態(tài)，學(xué)習(xí)歷史指令中的信息得到歷史命令狀態(tài)；

14、利用優(yōu)化后的語音識別模型，分析接收到的實(shí)時語音輸入，得到實(shí)時語音特征；構(gòu)建多層深度模型，逐層推演用戶可能的操作意圖，生成用戶下一步的候選預(yù)測指令集合。

15、作為本發(fā)明所述的基于3d虛擬的語音交互方法的一種優(yōu)選方案，其中：所述多層深度模型包括，lstm層、gcn層和輸出層；

16、在所述lstm層中，結(jié)合歷史命令狀態(tài)和實(shí)時語音特征，利用lstm生成初步候選指令集合；將所述歷史命令狀態(tài)與實(shí)時語音特征結(jié)合，利用lstm生成實(shí)時候選指令集合；

17、所述gcn層包括，基于用戶的歷史指令序列，采用元學(xué)習(xí)框架離線進(jìn)行規(guī)則引擎的預(yù)訓(xùn)練，建立用戶專屬規(guī)則模型；在用戶開始語音交互時，基于當(dāng)前指令語音清晰度評分和當(dāng)前指令中所有音節(jié)間隔的平均值，從歷史交互數(shù)據(jù)中采樣指令語音清晰度評分和當(dāng)前指令中所有音節(jié)間隔的平均值均相同的子樣本構(gòu)建支持集，對元模型參數(shù)進(jìn)行快速微調(diào)，生成當(dāng)前用戶個性化的規(guī)則引擎；針對每個候選指令，利用所述支持集提取語義-行為聯(lián)合特征向量；基于所述語義-行為聯(lián)合特征向量，構(gòu)建異構(gòu)圖譜；構(gòu)建異構(gòu)圖譜的節(jié)點(diǎn)集合包括：指令節(jié)點(diǎn)、目標(biāo)對象節(jié)點(diǎn)和上下文語義節(jié)點(diǎn)；設(shè)異構(gòu)圖譜中任意兩個節(jié)點(diǎn)i,j，對應(yīng)的語義-行為聯(lián)合特征向量為和，當(dāng)時，在i,j之間建立邊，邊的權(quán)重為；其中，表示特征相似度，表示設(shè)定的結(jié)構(gòu)連接閾值。

18、作為本發(fā)明所述的基于3d虛擬的語音交互方法的一種優(yōu)選方案，其中：通過多層圖卷積網(wǎng)絡(luò)對所述異構(gòu)圖譜進(jìn)行結(jié)構(gòu)傳播，獲取候選指令的圖結(jié)構(gòu)嵌入表示，并通過預(yù)測頭結(jié)構(gòu)輸出指令預(yù)測結(jié)果；將所述預(yù)測結(jié)果與真實(shí)交互行為標(biāo)簽進(jìn)行對比，識別預(yù)測誤差，當(dāng)所述預(yù)測誤差超過設(shè)定閾值時，提取所述候選指令的結(jié)構(gòu)風(fēng)險因子，構(gòu)建結(jié)構(gòu)歸因矩陣；

19、所述結(jié)構(gòu)風(fēng)險因子包括語義模糊性因子與路徑?jīng)_突性因子；所述語義模糊性因子為候選指令節(jié)點(diǎn)指向多個對象或語義節(jié)點(diǎn)時，語義集中程度的量化指標(biāo)；提取所述候選指令節(jié)點(diǎn)的所有邊及其對應(yīng)的邊權(quán)重，將所述邊權(quán)重集合歸一化為概率分布后，基于shannon熵計算概率分布的不確定性程度，將得到的熵值經(jīng)歸一化處理后作為語義模糊性因子的值；所述路徑?jīng)_突性因子表示候選指令節(jié)點(diǎn)所在路徑與圖結(jié)構(gòu)中相鄰候選路徑在結(jié)構(gòu)邊集上的重疊程度，定義節(jié)點(diǎn)所在的路徑為，提取的邊集；根據(jù)圖中與存在直接連接的指令節(jié)點(diǎn)構(gòu)造鄰居路徑集合，分別提取每條鄰居路徑的邊集，并計算與之間的結(jié)構(gòu)jaccard相似度，取結(jié)構(gòu)jaccard相似度中的最大值作為；

20、將所述結(jié)構(gòu)歸因矩陣作為調(diào)節(jié)因子，引入個性化規(guī)則引擎的參數(shù)更新路徑中，利用更新后的個性化規(guī)則引擎計算每個候選指令的個性化偏好評分，引導(dǎo)元模型在后續(xù)任務(wù)中規(guī)避結(jié)構(gòu)高風(fēng)險區(qū)域；融合所述個性化偏好評分與語義適配得分，生成候選指令的綜合得分，并按得分高低進(jìn)行排序，選取前m個候選指令作為環(huán)境上下文候選指令集合；所述語義適配得分為圖卷積網(wǎng)絡(luò)結(jié)構(gòu)傳播后經(jīng)預(yù)測頭輸出的嵌入概率值，用于衡量候選指令與圖中目標(biāo)對象及上下文節(jié)點(diǎn)的結(jié)構(gòu)語義貼合程度；所述輸出層通過注意力機(jī)制，將所述初步候選指令集合、所述實(shí)時候選指令集合和所述環(huán)境上下文候選指令集合進(jìn)行加權(quán)融合，生成用戶下一步的候選預(yù)測指令集合。

21、一種基于3d虛擬的語音交互系統(tǒng)，其中：

22、數(shù)據(jù)模塊，接收用戶的實(shí)時語音并進(jìn)行預(yù)處理，建立語音識別模型，分析用戶的發(fā)音特征和清晰度；

23、優(yōu)化模塊，基于用戶的發(fā)音特征和清晰度，對語音識別模型進(jìn)行優(yōu)化；

24、預(yù)測模塊，結(jié)合用戶的歷史命令和當(dāng)前3d環(huán)境上下文，利用優(yōu)化后的語音識別模型生成用戶下一步的候選預(yù)測指令集合；所述候選預(yù)測指令集合包括多個候選指令；

25、加載模塊，識別每個候選指令的優(yōu)先級，將優(yōu)先級最高的候選指令作為用戶下一步的預(yù)測指令，優(yōu)先加載預(yù)測指令的相關(guān)資源，快速響應(yīng)用戶需求。

26、一種計算機(jī)設(shè)備，包括：存儲器和處理器；所述存儲器存儲有計算機(jī)程序，其特征在于：所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)本發(fā)明中任一項(xiàng)所述的方法的步驟。

27、一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于：所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)本發(fā)明中任一項(xiàng)所述的方法的步驟。

28、本發(fā)明的有益效果：本發(fā)明提供的基于3d虛擬的語音交互方法通過結(jié)合優(yōu)化后的語音識別模型、用戶歷史命令和3d環(huán)境上下文，提出了一種多層深度模型的候選指令生成方法，顯著提升了語音交互的準(zhǔn)確性和實(shí)時響應(yīng)能力。通過多層深度學(xué)習(xí)結(jié)構(gòu)逐步推理和融合語音輸入、歷史數(shù)據(jù)和環(huán)境信息，本發(fā)明能夠動態(tài)優(yōu)化指令生成過程，確保系統(tǒng)在復(fù)雜場景中更精確地預(yù)測用戶需求。此外，采用容錯率調(diào)整機(jī)制和基于清晰度的優(yōu)化策略，使得系統(tǒng)能夠有效應(yīng)對發(fā)音不清晰或語音干擾等問題，提升了系統(tǒng)的魯棒性。