本發(fā)明涉及智能擬文，尤其涉及一種基于大模型的公文生成方法及裝置。
背景技術：
1、在企業(yè)和政府機構中，公文寫作一直具有重要的位置，其在內容專業(yè)性、格式規(guī)范性、表達嚴謹性等方面，都相對普通文章有較高的標準。傳統(tǒng)的公文主要依賴人工撰寫，因此對工作人員的專業(yè)技能、文字表達以及對公文格式細節(jié)的了解上都有較高的要求，過程繁復、學習成本高，而且撰寫過程中容易出現(xiàn)細節(jié)錯誤、表達不準確等問題，對公文的整體質量產(chǎn)生影響。因此，需要通過智能化手段，將人工撰寫公文的過程自動化、智能化。
2、近年來，以chatgpt為代表的自然語言生成式大模型技術的發(fā)展，為公文的智能撰寫提供了新的思路和技術支撐，用戶通過輸入關于公文內容的簡單描述性文本或大綱和相應提示詞，即可驅動大模型生成具有一定專業(yè)性的正式公文。然而，由于大模型的訓練語料主要來自網(wǎng)絡公開的文本數(shù)據(jù)，生成的公文雖然具有一定的規(guī)范性，但缺乏不同行業(yè)下，尤其是不同企業(yè)和政府機構的行文風格和細節(jié)要求。
3、因此，亟需開展基于特定企業(yè)和政府機構下的大模型的智能擬文方法的研究，通過讓大模型學習到企業(yè)和機構內收發(fā)公文風格和細節(jié)，彌補大模型的以上局限，提升智能擬文的效果。
技術實現(xiàn)思路
1、本發(fā)明提供一種基于大模型的公文生成方法及裝置，用以解決現(xiàn)有技術中公文自動生成內容缺乏特定組織風格適應性和細節(jié)準確性的缺陷。
2、第一方面，本發(fā)明提供一種基于大模型的公文生成方法，包括：
3、對原始公文進行要素提取，其中，提取的要素包括：公文標題和公文正文；對于屬于同一個公文種類的原始公文，根據(jù)公文標題進行聚類分析，形成不同的細分類型，并建立公文標題的向量到預設要素以及細分類型之間的映射，形成向量索引；
4、根據(jù)原始公文的要素，分別構建完整樣本和mask樣本；其中，完整樣本的輸入項為除公文正文外的原始公文的各類要素以及包含公文正文全部關鍵信息的摘要，輸出項為公文正文；mask樣本的輸入項為除公文正文外的原始公文的各類要素以及包含公文正文部分關鍵信息的摘要，輸出項為出為具有信息補充提示的公文正文；
5、基于完整樣本和mask樣本，構建損失函數(shù)，采用低秩適應技術對大模型進行微調，以學習樣本中的公文行文風格和信息補全能力；
6、根據(jù)目標機構的用戶輸入的公文要素，利用向量索引檢索出相似公文，并針對相似公文所屬的分類情況，構建提示詞，以驅動微調后的大模型生成最終的擬文結果。
7、第二方面，本發(fā)明還提供一種基于大模型的公文生成裝置，包括：
8、公文預處理模塊，用于對原始公文進行要素提取，其中，提取的要素包括：公文標題和公文正文；對于屬于同一個公文種類的原始公文，根據(jù)公文標題進行聚類分析，形成不同的細分類型，并建立公文標題的向量到預設要素以及細分類型之間的映射，形成向量索引；
9、樣本生成模塊，用于根據(jù)原始公文的要素，分別構建完整樣本和mask樣本；其中，完整樣本的輸入項為除公文正文外的原始公文的各類要素以及包含公文正文全部關鍵信息的摘要，輸出項為公文正文；mask樣本的輸入項為除公文正文外的原始公文的各類要素以及包含公文正文部分關鍵信息的摘要，輸出項為出為具有信息補充提示的公文正文；
10、模型微調模塊，用于基于完整樣本和mask樣本，構建損失函數(shù)，采用低秩適應技術對大模型進行微調，以學習樣本中的公文行文風格和信息補全能力；
11、公文生成模塊，用于根據(jù)目標機構的用戶輸入的公文要素，利用向量索引檢索出相似公文，并針對相似公文所屬的分類情況，構建提示詞，以驅動微調后的大模型生成最終的擬文結果。
12、第三方面，本發(fā)明提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述基于大模型的公文生成方法的步驟。
13、第四方面，本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述基于大模型的公文生成方法的步驟。
14、本發(fā)明提供的基于大模型的公文生成方法及裝置，與現(xiàn)有技術相比具有以下有益效果：
15、本發(fā)明提供的基于大模型的公文生成方法及裝置與現(xiàn)有技術相比，具有以下幾個顯著的有益效果：
16、（1）本發(fā)明可實現(xiàn)根據(jù)用戶輸入的公文要素，進行特定風格的公文正文生成，提升了公文自動生成內容與特定組織風格的適應性以及準確性。
17、（2）本發(fā)明提出了一種基于歷史公文的細分類型抽取，并按照輸入的公文要素信息檢索類型和相似公文的方法，為待撰寫的公文提供有效的參考模板。
18、（3）本發(fā)明提出了一種基于歷史公文的完整樣本和mask樣本的大模型微調方法，讓大模型學習到樣本中的行文風格，能根據(jù)輸入的公文內容簡要描述生成指定風格的詳細正文生成。其中，mask樣本的設計尤其有助于提升模型在信息補全方面的性能，保證即使部分信息缺失也能準確預測并補充相關內容，從而提高了公文的整體質量。
1.一種基于大模型的公文生成方法，其特征在于，包括：
2.根據(jù)權利要求1所述的基于大模型的公文生成方法，其特征在于，根據(jù)公文標題進行聚類分析，形成不同的細分類型，包括：
3.根據(jù)權利要求1所述的基于大模型的公文生成方法，其特征在于，所述損失函數(shù)包括完整樣本損失、mask樣本損失、用來衡量模型根據(jù)上下文生成補全信息的能力的模型補全損失以及用來衡量模型對于公文生成文本與目標寫作風格的差異的風格損失。
4.根據(jù)權利要求3所述的基于大模型的公文生成方法，其特征在于，所述損失函數(shù)具體為：
5.根據(jù)權利要求2所述的基于大模型的公文生成方法，其特征在于，利用向量索引檢索出相似公文，并針對相似公文所屬的分類情況，構建提示詞，包括：
6.根據(jù)權利要求5所述的基于大模型的公文生成方法，其特征在于，基于目標細分類型，構建提示詞，包括：
7.根據(jù)權利要求2所述的基于大模型的公文生成方法，其特征在于，所述預設聚類算法為密度聚類算法。
8.一種基于大模型的公文生成裝置，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權利要求1至7任一項所述基于大模型的公文生成方法的步驟。
10.一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7任一項所述基于大模型的公文生成方法的步驟。