本申請涉及計(jì)算機(jī)技術(shù)，尤其涉及一種數(shù)據(jù)處理方法、服務(wù)器、存儲介質(zhì)和程序產(chǎn)品。
背景技術(shù)：
：：1、隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)驅(qū)動決策在各行各業(yè)中發(fā)揮著越來越重要的作用。數(shù)據(jù)庫作為存儲和管理大量結(jié)構(gòu)化數(shù)據(jù)的核心工具，其高效訪問與操作能力對系統(tǒng)流程的優(yōu)化至關(guān)重要。然而，傳統(tǒng)的數(shù)據(jù)庫查詢依賴于結(jié)構(gòu)化查詢語言（structured?querylanguage，簡稱sql），這要求用戶具備一定的編程知識和技能，限制了非技術(shù)人員的直接數(shù)據(jù)訪問和分析能力。為了解決這一瓶頸，自然語言處理（natural?language?processing?，簡稱nlp）技術(shù)逐漸應(yīng)用于數(shù)據(jù)庫查詢領(lǐng)域，催生了自然語言轉(zhuǎn)sql（即nl2sql）的研究與應(yīng)用。2、nl2sql是指將自然語言查詢轉(zhuǎn)換為可在關(guān)系數(shù)據(jù)庫上執(zhí)行的sql查詢，是將自然語言處理與數(shù)據(jù)庫管理相結(jié)合的典型應(yīng)用。nl2sql的核心目標(biāo)在于理解用戶以自然語言形式提出的查詢意圖，并生成準(zhǔn)確反映該意圖的sql語句，從而使用戶能夠無需掌握復(fù)雜的sql語法，直接通過自然語言與數(shù)據(jù)庫進(jìn)行高效交互。這一技術(shù)不僅降低了數(shù)據(jù)庫訪問的門檻，還拓寬了數(shù)據(jù)分析的用戶群體，具有廣泛的應(yīng)用前景。3、近年來，大規(guī)模語言模型（large?language?model，簡稱llm）的出現(xiàn)為nl2sql技術(shù)的發(fā)展注入了新的活力。相比傳統(tǒng)方法，llm在理解復(fù)雜語言結(jié)構(gòu)、語義推理和生成能力方面表現(xiàn)出色，顯著提升了nl2sql系統(tǒng)的性能。這些大模型能夠通過大規(guī)模數(shù)據(jù)訓(xùn)練，捕捉豐富的語言模式和知識，從而更準(zhǔn)確地理解用戶意圖，生成符合數(shù)據(jù)庫架構(gòu)的sql查詢。此外，借助llm使得nl2sql系統(tǒng)能支持口語對話，進(jìn)一步簡化用戶與數(shù)據(jù)庫的交互過程，為商業(yè)應(yīng)用和系統(tǒng)流程改革提供了新的可能性。4、基于nl2sql技術(shù)產(chǎn)生了聊天式商業(yè)智能（chat-based?business?intelligence，簡稱chatbi）類的產(chǎn)品，使用戶能夠以對話的方式輕松進(jìn)行數(shù)據(jù)查詢和分析。目前市面上的chatbi類產(chǎn)品面向應(yīng)用級數(shù)據(jù)庫（即一個應(yīng)用對應(yīng)一個數(shù)據(jù)庫/數(shù)據(jù)源，一個數(shù)據(jù)庫中數(shù)據(jù)表的數(shù)量小于100，即databases?=?1，tables?<?100），基于用戶查詢在單一數(shù)據(jù)源中進(jìn)行查詢。面向多數(shù)據(jù)庫的應(yīng)用時，依賴數(shù)據(jù)治理和數(shù)據(jù)隔離，無法支持用戶針對全域數(shù)據(jù)庫的查詢需求。技術(shù)實(shí)現(xiàn)思路1、本申請?zhí)峁┮环N數(shù)據(jù)處理方法、服務(wù)器、存儲介質(zhì)和程序產(chǎn)品，用以解決基于nl2sql的查詢系統(tǒng)，在面向多數(shù)據(jù)庫應(yīng)用時，無法支持用戶針對全域數(shù)據(jù)庫的查詢需求的問題。2、第一方面，本申請?zhí)峁┮环N數(shù)據(jù)處理方法，包括：3、接收輸入的自然語言查詢；根據(jù)各數(shù)據(jù)庫的描述信息和各所述數(shù)據(jù)庫的表連通子圖的描述信息，召回與所述自然語言查詢相關(guān)的候選數(shù)據(jù)庫；根據(jù)所述自然語言查詢、所述候選數(shù)據(jù)庫中各數(shù)據(jù)表的描述信息和各表列的描述信息，對所述候選數(shù)據(jù)庫進(jìn)行精排序，獲得精排序結(jié)果；根據(jù)所述精排序結(jié)果選擇至少一個所述候選數(shù)據(jù)庫，作為與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫；在所述目標(biāo)數(shù)據(jù)庫中確定與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)表和目標(biāo)表列。4、第二方面，本申請?zhí)峁┮环N數(shù)據(jù)處理方法，包括：5、響應(yīng)于自然語言到sql的轉(zhuǎn)換請求，獲取待轉(zhuǎn)換的自然語言查詢；根據(jù)企業(yè)級數(shù)據(jù)庫中各數(shù)據(jù)庫的描述信息和各所述數(shù)據(jù)庫的表連通子圖的描述信息，召回與所述自然語言查詢相關(guān)的候選數(shù)據(jù)庫；根據(jù)所述自然語言查詢、所述候選數(shù)據(jù)庫中各數(shù)據(jù)表的描述信息和各表列的描述信息，對所述候選數(shù)據(jù)庫進(jìn)行精排序，獲得精排序結(jié)果；根據(jù)所述精排序結(jié)果選擇至少一個所述候選數(shù)據(jù)庫，作為與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫；在所述目標(biāo)數(shù)據(jù)庫中確定與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)表和目標(biāo)表列；根據(jù)所述目標(biāo)數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)表和目標(biāo)表列，生成所述自然語言查詢對應(yīng)的sql語句；輸出所述sql語句。6、第三方面，本申請?zhí)峁┮环N服務(wù)器，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述服務(wù)器執(zhí)行如前述任一方面所提供的方法。7、第四方面，本申請?zhí)峁┮环N計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)執(zhí)行指令，當(dāng)處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令時，實(shí)現(xiàn)如前述任一方面所提供的方法。8、第五方面，本申請?zhí)峁┮环N計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如前述任一方面所提供的方法。9、本申請?zhí)峁┑臄?shù)據(jù)處理方法、服務(wù)器、存儲介質(zhì)和程序產(chǎn)品，該方法根據(jù)各數(shù)據(jù)庫的描述信息和各所述數(shù)據(jù)庫的表連通子圖的描述信息，召回與所述自然語言查詢相關(guān)的候選數(shù)據(jù)庫；根據(jù)所述自然語言查詢、所述候選數(shù)據(jù)庫中各數(shù)據(jù)表的描述信息和各表列的描述信息，對所述候選數(shù)據(jù)庫進(jìn)行精排序，獲得精排序結(jié)果；根據(jù)所述精排序結(jié)果選擇至少一個所述候選數(shù)據(jù)庫，作為與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫；在所述目標(biāo)數(shù)據(jù)庫中確定與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)表和目標(biāo)表列。該方法在多個數(shù)據(jù)庫和海量數(shù)據(jù)表的場景中，基于一種智能路由策略，在數(shù)據(jù)庫的全域范圍內(nèi)，基于統(tǒng)一的數(shù)據(jù)庫的描述信息、數(shù)據(jù)庫的表連通子圖的描述信息、數(shù)據(jù)表的描述信息和表列的描述信息，將用戶查詢智能路由到全域范圍內(nèi)與用戶查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)表和目標(biāo)表列，實(shí)現(xiàn)用戶的全域數(shù)據(jù)查詢需求，并且無需依賴復(fù)雜的數(shù)據(jù)治理和場景隔離，通過統(tǒng)一的智能路由，簡化了多數(shù)據(jù)庫查詢的流程，提升了多數(shù)據(jù)庫查詢的操作便捷性。技術(shù)特征：1.一種數(shù)據(jù)處理方法，其特征在于，包括：2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：3.根據(jù)權(quán)利要求2所述的方法，其特征在于，生成所述各數(shù)據(jù)庫的描述信息，包括：4.根據(jù)權(quán)利要求2所述的方法，其特征在于，生成所述各數(shù)據(jù)庫的表連通子圖的描述信息，包括：5.根據(jù)權(quán)利要求2所述的方法，其特征在于，生成所述各數(shù)據(jù)庫中數(shù)據(jù)表的描述信息，包括：6.根據(jù)權(quán)利要求2所述的方法，其特征在于，生成所述各數(shù)據(jù)庫中表列的描述信息，包括：7.根據(jù)權(quán)利要求2-6中任一項(xiàng)所述的方法，其特征在于，所述根據(jù)各數(shù)據(jù)庫的描述信息和各所述數(shù)據(jù)庫的表連通子圖的描述信息，召回與所述自然語言查詢相關(guān)的候選數(shù)據(jù)庫，包括：8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述自然語言查詢、各所述數(shù)據(jù)庫的描述文本和各所述數(shù)據(jù)庫的表連通子圖的描述文本，計(jì)算所述自然語言查詢與各所述數(shù)據(jù)庫的文本相似度，根據(jù)所述文本相似度篩選出所述候選數(shù)據(jù)庫的第一候選集，包括：9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述自然語言查詢的向量表示、各所述數(shù)據(jù)庫的描述向量和各所述數(shù)據(jù)庫的表連通子圖的描述向量，計(jì)算所述自然語言查詢與各所述數(shù)據(jù)庫的向量相似度，根據(jù)所述向量相似度篩選出所述候選數(shù)據(jù)庫的第二候選集，包括：10.根據(jù)權(quán)利要求2-6中任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述自然語言查詢、所述候選數(shù)據(jù)庫中各數(shù)據(jù)表的描述信息和各表列的描述信息，對所述候選數(shù)據(jù)庫進(jìn)行精排序，獲得精排序結(jié)果，包括：11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述根據(jù)所述自然語言查詢、所述候選數(shù)據(jù)庫中各數(shù)據(jù)表的描述信息和各表列的描述信息，計(jì)算所述候選數(shù)據(jù)庫的至少一項(xiàng)精排分?jǐn)?shù)，包括：12.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于，還包括：13.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于，所述在所述目標(biāo)數(shù)據(jù)庫中確定與所述自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)表和目標(biāo)表列，包括：14.一種數(shù)據(jù)處理方法，其特征在于，包括：15.一種服務(wù)器，其特征在于，包括：16.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)執(zhí)行指令，當(dāng)處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令時，實(shí)現(xiàn)如權(quán)利要求1-14任一項(xiàng)所述的方法。17.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1-14任一項(xiàng)所述的方法。技術(shù)總結(jié)本申請?zhí)峁┮环N數(shù)據(jù)處理方法、服務(wù)器、存儲介質(zhì)和程序產(chǎn)品。該方法涉及計(jì)算機(jī)技術(shù)，在多數(shù)據(jù)庫和海量數(shù)據(jù)表場景中，在數(shù)據(jù)庫的全域范圍內(nèi)，根據(jù)各數(shù)據(jù)庫的描述信息和各數(shù)據(jù)庫的表連通子圖的描述信息，粗召回相關(guān)的候選數(shù)據(jù)庫；根據(jù)自然語言查詢、候選數(shù)據(jù)庫中各數(shù)據(jù)表的描述信息和各表列的描述信息，對候選數(shù)據(jù)庫精排序，根據(jù)精排序結(jié)果確定與自然語言查詢關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)表和目標(biāo)表列，結(jié)合粗召回和多層級精排，將用戶查詢智能路由到關(guān)聯(lián)的目標(biāo)數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)表和目標(biāo)表列，實(shí)現(xiàn)用戶的全域數(shù)據(jù)查詢需求，無需依賴復(fù)雜的數(shù)據(jù)治理和場景隔離，通過統(tǒng)一的智能路由簡化了多數(shù)據(jù)庫查詢的流程，提升了多數(shù)據(jù)庫查詢的操作便捷性。技術(shù)研發(fā)人員：薛靜遠(yuǎn),李屾受保護(hù)的技術(shù)使用者：阿里云飛天（杭州）云計(jì)算技術(shù)有限公司技術(shù)研發(fā)日：技術(shù)公布日：2025/6/12