本公開整體涉及無線通信，并且更具體地涉及用于基于區(qū)的聯(lián)邦學習的區(qū)梯度擴散(zgd)技術(shù)的方法。
背景技術(shù)：
1、聯(lián)邦學習是跨保持本地數(shù)據(jù)樣本的多個分散式邊緣設(shè)備或服務(wù)器訓練聯(lián)邦學習模型而不與中央服務(wù)器共享數(shù)據(jù)樣本的機器學習技術(shù)。聯(lián)邦學習提供了隱私保護機器學習和邊緣上的連續(xù)學習的益處。然而，當設(shè)備處的數(shù)據(jù)是非獨立同分布(非iid)時，聯(lián)邦學習的性能受到損害。數(shù)據(jù)增強是解決非iid數(shù)據(jù)的方法。另一種方法是基于區(qū)的聯(lián)邦學習。
2、基于區(qū)的聯(lián)邦學習將參與設(shè)備分組到有助于邊緣處的非iid數(shù)據(jù)分布的區(qū)中。然而，來自感興趣區(qū)之外的設(shè)備的數(shù)據(jù)可能是相關(guān)的。如果區(qū)邊界不是靈活的，則那些相關(guān)模型更新將被忽略。用于捕獲相關(guān)相鄰設(shè)備信息的技術(shù)將是期望的。
技術(shù)實現(xiàn)思路
1、在本公開的各方面，處理器實現(xiàn)的方法包括從聯(lián)邦學習系統(tǒng)中的多個客戶端接收機器學習模型更新。該方法還包括確定與客戶端中的每個客戶端相關(guān)聯(lián)的固定本地區(qū)，該固定本地區(qū)具有第一固定邊界。該方法還包括基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權(quán)重。本地子集與固定本地區(qū)相對應(yīng)。該方法還包括基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權(quán)重。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對應(yīng)。在更新模型權(quán)重時相鄰機器學習更新具有與本地機器學習更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對應(yīng)，固定相鄰區(qū)具有第二固定邊界。
2、本公開的其他方面涉及一種裝置。該裝置具有至少一個存儲器和耦合到該至少一個存儲器的一個或多個處理器。該處理器被配置為從聯(lián)邦學習系統(tǒng)中的多個客戶端接收機器學習模型更新。該處理器還被配置為確定與客戶端中的每個客戶端相關(guān)聯(lián)的固定本地區(qū)，該固定本地區(qū)具有第一固定邊界。該處理器被進一步配置為基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權(quán)重。本地子集與固定本地區(qū)相對應(yīng)。該處理器還被配置為基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權(quán)重。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對應(yīng)。在更新模型權(quán)重時相鄰機器學習更新具有與本地機器學習更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對應(yīng)，固定相鄰區(qū)具有第二固定邊界。
3、本公開的其他方面涉及一種裝置。該裝置包括用于從聯(lián)邦學習系統(tǒng)中的多個客戶端接收機器學習模型更新的部件。該裝置還包括用于確定與客戶端中的每個客戶端相關(guān)聯(lián)的固定本地區(qū)的部件，該固定本地區(qū)具有第一固定邊界。該裝置還包括用于基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權(quán)重的部件。本地子集與固定本地區(qū)相對應(yīng)。該裝置還包括用于基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權(quán)重的部件。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對應(yīng)。在更新模型權(quán)重時相鄰機器學習更新具有與本地機器學習更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對應(yīng)，固定相鄰區(qū)具有第二固定邊界。
4、在本公開的其他方面，公開了一種其上記錄有程序代碼的非暫態(tài)計算機可讀介質(zhì)。該程序代碼由處理器執(zhí)行并且包括用于從聯(lián)邦學習系統(tǒng)中的客戶端接收機器學習模型更新的程序代碼。該程序代碼還包括用于確定與客戶端中的每個客戶端相關(guān)聯(lián)的固定區(qū)，固定本地區(qū)具有第一固定邊界。該程序代碼還包括用于基于用于客戶端的本地子集的本地機器學習更新來更新中央機器學習模型的模型權(quán)重的程序代碼。本地子集與固定本地區(qū)相對應(yīng)。該程序代碼還包括用于基于用于客戶端的相鄰子集的相鄰機器學習更新來更新中央機器學習模型的模型權(quán)重的程序代碼。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對應(yīng)。在更新模型權(quán)重時相鄰機器學習更新具有與本地機器學習更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對應(yīng)，固定相鄰區(qū)具有第二固定邊界。
5、各方面整體上包括如基本上參照附圖和說明書描述的和如附圖和說明書所例示的方法、裝置、系統(tǒng)、計算機程序產(chǎn)品、非暫態(tài)計算機可讀介質(zhì)、用戶裝備、基站、無線通信設(shè)備和處理系統(tǒng)。
6、上文已經(jīng)相當廣泛地概述了根據(jù)本公開的示例的特征和技術(shù)優(yōu)點，以便可更好地理解下面的具體實施方式。將描述附加特征和優(yōu)點。所公開的概念和特定示例可容易地被利用用于修改或設(shè)計用于實現(xiàn)本公開的相同目的的其他結(jié)構(gòu)的基礎(chǔ)。此類等效構(gòu)造不脫離所附權(quán)利要求書的范圍。所公開的概念的特性在其組織和操作方法兩方面以及相關(guān)聯(lián)的優(yōu)勢將通過結(jié)合附圖來考慮以下描述而被更好地理解。提供附圖中的每個附圖是出于例示和描述的目的，而不是作為權(quán)利要求的限制的定義。
1.一種處理器實現(xiàn)的方法，包括：
2.根據(jù)權(quán)利要求1所述的處理器實現(xiàn)的方法，還包括利用機器學習訓練來學習所述相似性參數(shù)。
3.根據(jù)權(quán)利要求1所述的處理器實現(xiàn)的方法，其中所述相似性參數(shù)包括自注意力系數(shù)。
4.根據(jù)權(quán)利要求3所述的處理器實現(xiàn)的方法，其中所述自注意力系數(shù)將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關(guān)系進行歸一化。
5.根據(jù)權(quán)利要求4所述的處理器實現(xiàn)的方法，其中所述關(guān)系包括內(nèi)積。
6.一種裝置，包括：
7.根據(jù)權(quán)利要求6所述的裝置，其中所述至少一個處理器被進一步配置為：利用機器學習訓練來學習所述相似性參數(shù)。
8.根據(jù)權(quán)利要求6所述的裝置，其中所述相似性參數(shù)包括自注意力系數(shù)。
9.根據(jù)權(quán)利要求8所述的裝置，其中所述自注意力系數(shù)將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關(guān)系進行歸一化。
10.根據(jù)權(quán)利要求9所述的裝置，其中所述關(guān)系包括內(nèi)積。
11.一種裝置，包括：
12.根據(jù)權(quán)利要求11所述的裝置，還包括用于利用機器學習訓練來學習所述相似性參數(shù)的部件。
13.根據(jù)權(quán)利要求11所述的裝置，其中所述相似性參數(shù)包括自注意力系數(shù)。
14.根據(jù)權(quán)利要求13所述的裝置，其中所述自注意力系數(shù)將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關(guān)系進行歸一化。
15.根據(jù)權(quán)利要求14所述的裝置，其中所述關(guān)系包括內(nèi)積。
16.一種非暫態(tài)計算機可讀介質(zhì)，所述非暫態(tài)計算機可讀介質(zhì)上記錄有程序代碼，所述程序代碼由處理器執(zhí)行并且包括：
17.根據(jù)權(quán)利要求16所述的非暫態(tài)計算機可讀介質(zhì)，其中所述程序代碼還包括用于利用機器學習訓練來學習所述相似性參數(shù)的程序代碼。
18.根據(jù)權(quán)利要求16所述的非暫態(tài)計算機可讀介質(zhì)，其中所述相似性參數(shù)包括自注意力系數(shù)。
19.根據(jù)權(quán)利要求18所述的非暫態(tài)計算機可讀介質(zhì)，其中所述自注意力系數(shù)將所述本地子集的所述本地機器學習更新與所述相鄰子集的所述相鄰機器學習更新之間的關(guān)系進行歸一化。
20.根據(jù)權(quán)利要求19所述的非暫態(tài)計算機可讀介質(zhì)，其中所述關(guān)系包括內(nèi)積。