本技術(shù)屬于智能計算資源調(diào)度和存儲管理，尤其是涉及一種多業(yè)務(wù)系統(tǒng)的智能算力及存儲調(diào)度方法和系統(tǒng)。

背景技術(shù)：

1、隨著信息技術(shù)的不斷發(fā)展，云計算、大數(shù)據(jù)、高性能計算以及虛擬化等技術(shù)逐漸成為現(xiàn)代計算架構(gòu)中的核心組成部分。特別是在多業(yè)務(wù)系統(tǒng)中，隨著計算任務(wù)日益復(fù)雜，業(yè)務(wù)需求也變得越來越多樣化，如何有效管理系統(tǒng)資源成為了提高整體性能和效率的關(guān)鍵。資源調(diào)度和管理作為這些系統(tǒng)中的基礎(chǔ)組件，其設(shè)計與優(yōu)化直接影響到任務(wù)的執(zhí)行效率、系統(tǒng)的穩(wěn)定性和資源的利用率。

2、多業(yè)務(wù)系統(tǒng)通常會同時運(yùn)行多種類型的任務(wù)，這些任務(wù)不僅在計算能力上有不同的需求，在存儲資源的使用上也呈現(xiàn)出較大差異。計算密集型任務(wù)往往要求較高的算力，而存儲密集型任務(wù)則對存儲i/o吞吐量有較高的要求。除了任務(wù)類型的差異外，不同任務(wù)還具有不同的優(yōu)先級和資源消耗模式，這使得資源調(diào)度問題更加復(fù)雜。系統(tǒng)需要能夠?qū)崟r感知這些變化并做出相應(yīng)的調(diào)整，以確保高優(yōu)先級任務(wù)得到及時處理，同時避免低優(yōu)先級任務(wù)占用過多資源。

3、目前，在常見的資源調(diào)度方法中，許多系統(tǒng)依賴于靜態(tài)配置或基于規(guī)則的調(diào)度策略。例如，計算節(jié)點(diǎn)可能會被分配給固定的任務(wù)，存儲資源也可能根據(jù)預(yù)設(shè)的規(guī)則來進(jìn)行分配。然而，這些方法往往難以有效應(yīng)對復(fù)雜的業(yè)務(wù)需求和動態(tài)變化的資源使用情況。當(dāng)系統(tǒng)負(fù)載發(fā)生變化，或者任務(wù)的資源需求超出了預(yù)期時，這些靜態(tài)的調(diào)度方法會導(dǎo)致資源過載或浪費(fèi)，進(jìn)而影響系統(tǒng)的整體性能和效率。例如，計算節(jié)點(diǎn)的過度負(fù)載可能導(dǎo)致任務(wù)執(zhí)行延遲，而存儲資源的分配不均衡則可能導(dǎo)致部分存儲介質(zhì)的過度使用或閑置，浪費(fèi)了寶貴的硬件資源。

4、因此，如何通過準(zhǔn)確預(yù)測系統(tǒng)在未來的算力和存儲需求，從而在多業(yè)務(wù)系統(tǒng)環(huán)境中實(shí)現(xiàn)資源的高效調(diào)度，是目前亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、為了在多業(yè)務(wù)系統(tǒng)環(huán)境中實(shí)現(xiàn)資源的高效調(diào)度，本技術(shù)提供了一種多業(yè)務(wù)系統(tǒng)的智能算力及存儲調(diào)度方法和系統(tǒng)。

2、第一方面，本技術(shù)提供一種多業(yè)務(wù)系統(tǒng)的智能算力及存儲調(diào)度方法，采用如下的技術(shù)方案：

3、一種多業(yè)務(wù)系統(tǒng)的智能算力及存儲調(diào)度方法，所述方法包括：

4、采集多業(yè)務(wù)系統(tǒng)中各節(jié)點(diǎn)的實(shí)時監(jiān)控數(shù)據(jù)；

5、對所述實(shí)時監(jiān)控數(shù)據(jù)進(jìn)行特征提取，生成包含業(yè)務(wù)類型標(biāo)簽、任務(wù)優(yōu)先級及數(shù)據(jù)訪問模式的結(jié)構(gòu)化特征向量，得到實(shí)時業(yè)務(wù)特征數(shù)據(jù)集；

6、基于所述實(shí)時業(yè)務(wù)特征數(shù)據(jù)集及歷史負(fù)載日志，通過時序預(yù)測模型預(yù)測未來預(yù)設(shè)時間窗口內(nèi)的算力需求值及存儲需求分層策略；

7、根據(jù)所述算力需求值及存儲需求分層策略，結(jié)合強(qiáng)化學(xué)習(xí)算法對預(yù)測結(jié)果進(jìn)行動態(tài)修正，生成動態(tài)資源需求表及跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣；

8、基于業(yè)務(wù)類型初始化調(diào)度策略規(guī)則庫中的預(yù)設(shè)規(guī)則；

9、基于所述預(yù)設(shè)規(guī)則和資源池拓?fù)湫畔ⅲ鶕?jù)所述動態(tài)資源需求表和跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣，通過混合調(diào)度算法生成任務(wù)分配方案；

10、基于所述存儲需求分層策略，通過存儲調(diào)度引擎生成存儲數(shù)據(jù)遷移指令；

11、將所述任務(wù)分配方案及存儲數(shù)據(jù)遷移指令發(fā)送至虛擬化資源編排模塊，執(zhí)行計算節(jié)點(diǎn)擴(kuò)容、任務(wù)遷移及存儲數(shù)據(jù)重分布操作；

12、采集執(zhí)行后的資源池狀態(tài)數(shù)據(jù)，生成資源池最新狀態(tài)快照；

13、基于所述資源池最新狀態(tài)快照及調(diào)度失敗案例庫，更新所述時序預(yù)測模型的權(quán)重參數(shù)和所述調(diào)度策略規(guī)則庫，得到更新后的策略版本并應(yīng)用于下一調(diào)度周期。

14、通過采用上述技術(shù)方案，實(shí)現(xiàn)了多業(yè)務(wù)系統(tǒng)資源的智能化調(diào)度，通過深度結(jié)合實(shí)時監(jiān)控數(shù)據(jù)與預(yù)測算法，系統(tǒng)能夠動態(tài)調(diào)整資源配置，提高了資源利用率，降低了系統(tǒng)瓶頸，同時保障了任務(wù)執(zhí)行的高效性和系統(tǒng)的穩(wěn)定性。此外，通過自適應(yīng)優(yōu)化策略，系統(tǒng)能夠持續(xù)改進(jìn)調(diào)度決策，使得長時間運(yùn)行后的調(diào)度效果更為精準(zhǔn)和高效，從而進(jìn)一步提升了整個多業(yè)務(wù)系統(tǒng)的性能與可靠性。

15、可選地，根據(jù)所述算力需求值及存儲需求分層策略，結(jié)合強(qiáng)化學(xué)習(xí)算法對預(yù)測結(jié)果進(jìn)行動態(tài)修正，生成動態(tài)資源需求表及跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣的步驟包括：

16、獲取實(shí)時資源池狀態(tài)數(shù)據(jù)，并接收時序預(yù)測模型輸出的未來預(yù)設(shè)時間窗口內(nèi)的算力需求值及存儲需求分層策略；

17、將所述算力需求值、存儲需求分層策略與實(shí)時資源池狀態(tài)數(shù)據(jù)合并為復(fù)合狀態(tài)向量，并進(jìn)行歸一化處理，生成標(biāo)準(zhǔn)化狀態(tài)矩陣；

18、根據(jù)業(yè)務(wù)類型定義動作空間參數(shù)，并將所述動作空間參數(shù)輸入至預(yù)先配置的強(qiáng)化學(xué)習(xí)代理；其中，所述動作空間參數(shù)包括資源分配比例調(diào)整指令及存儲遷移觸發(fā)指令；

19、基于所述標(biāo)準(zhǔn)化狀態(tài)矩陣及歷史調(diào)度記錄，通過強(qiáng)化學(xué)習(xí)代理計算資源分配比例調(diào)整指令和存儲遷移觸發(fā)指令；其中，所述強(qiáng)化學(xué)習(xí)代理根據(jù)預(yù)設(shè)獎勵函數(shù)評估動作價值，更新策略網(wǎng)絡(luò)參數(shù)；

20、根據(jù)所述資源分配比例調(diào)整指令，結(jié)合預(yù)設(shè)業(yè)務(wù)特征庫，生成動態(tài)資源需求表；

21、基于所述動態(tài)資源需求表及存儲遷移觸發(fā)指令，構(gòu)建跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣。

22、通過采用上述技術(shù)方案，基于強(qiáng)化學(xué)習(xí)的動態(tài)資源調(diào)度與優(yōu)先級決策方法，能夠自動化、智能化地處理多業(yè)務(wù)系統(tǒng)中的資源分配問題。通過結(jié)合實(shí)時資源池狀態(tài)、時序預(yù)測數(shù)據(jù)以及強(qiáng)化學(xué)習(xí)算法，系統(tǒng)能夠靈活適應(yīng)業(yè)務(wù)負(fù)載的變化，并做出高效、精準(zhǔn)的資源調(diào)度決策。

23、可選地，在基于所述動態(tài)資源需求表及存儲遷移觸發(fā)指令，構(gòu)建跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣的步驟之后，還包括：

24、將所述動態(tài)資源需求表及跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣輸入數(shù)字孿生模擬環(huán)境，生成模擬調(diào)度結(jié)果；

25、根據(jù)實(shí)際調(diào)度結(jié)果與模擬調(diào)度結(jié)果的誤差率，觸發(fā)增量學(xué)習(xí)模塊更新所述強(qiáng)化學(xué)習(xí)代理的策略網(wǎng)絡(luò)參數(shù)。

26、通過采用上述技術(shù)方案，將動態(tài)資源需求表與跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣輸入數(shù)字孿生模擬環(huán)境進(jìn)行仿真，并根據(jù)實(shí)際調(diào)度結(jié)果與模擬調(diào)度結(jié)果的誤差率觸發(fā)增量學(xué)習(xí)模塊進(jìn)行策略優(yōu)化，進(jìn)一步強(qiáng)化了系統(tǒng)在多業(yè)務(wù)環(huán)境中的智能調(diào)度能力。數(shù)字孿生模擬的使用，使得系統(tǒng)能夠在虛擬環(huán)境中測試和驗(yàn)證各種調(diào)度策略，從而避免了在生產(chǎn)環(huán)境中出現(xiàn)不可預(yù)見的錯誤。通過增量學(xué)習(xí)模塊，系統(tǒng)能夠在實(shí)際運(yùn)行過程中根據(jù)新的數(shù)據(jù)不斷優(yōu)化決策策略，確保在各種復(fù)雜的業(yè)務(wù)場景中，資源調(diào)度始終能夠滿足高效性和靈活性需求。整體技術(shù)方案能夠顯著提高資源利用率、減少任務(wù)延遲，提升系統(tǒng)穩(wěn)定性和整體性能，適應(yīng)不斷變化的多業(yè)務(wù)環(huán)境。

27、可選地，基于業(yè)務(wù)類型初始化調(diào)度策略規(guī)則庫中的預(yù)設(shè)規(guī)則包括：

28、當(dāng)所述業(yè)務(wù)類型為實(shí)時任務(wù)時，配置搶占式調(diào)度規(guī)則及存儲帶寬預(yù)留閾值；或，當(dāng)所述業(yè)務(wù)類型為離線任務(wù)時，配置彈性資源池分配規(guī)則及冷數(shù)據(jù)存儲遷移策略。

29、通過采用上述技術(shù)方案，結(jié)合實(shí)時任務(wù)和離線任務(wù)的不同需求，為每種任務(wù)類型制定了定制化的調(diào)度規(guī)則。實(shí)時任務(wù)采用搶占式調(diào)度規(guī)則和帶寬預(yù)留策略，保證了其在高負(fù)載下的優(yōu)先執(zhí)行；離線任務(wù)則通過彈性資源池和冷數(shù)據(jù)遷移策略優(yōu)化了資源的利用率。系統(tǒng)的調(diào)度策略庫不僅在初期根據(jù)業(yè)務(wù)需求進(jìn)行初始化，在后續(xù)的每個調(diào)度周期中還會根據(jù)反饋信息進(jìn)行動態(tài)調(diào)整，確保策略始終符合當(dāng)前資源和業(yè)務(wù)需求。

30、可選地，基于所述預(yù)設(shè)規(guī)則和資源池拓?fù)湫畔?，根?jù)所述動態(tài)資源需求表和跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣，通過混合調(diào)度算法生成任務(wù)分配方案的步驟包括：

31、獲取動態(tài)資源需求表、跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣、資源池拓?fù)湫畔⒓邦A(yù)設(shè)規(guī)則；

32、對所述動態(tài)資源需求表進(jìn)行時間窗口切分和歸一化處理，生成標(biāo)準(zhǔn)化資源需求時序切片；

33、基于資源池拓?fù)湫畔?gòu)建帶權(quán)有向圖，生成拓?fù)鋱D結(jié)構(gòu)文件；

34、根據(jù)預(yù)設(shè)規(guī)則對所述標(biāo)準(zhǔn)化資源需求時序切片進(jìn)行分類加權(quán)；

35、結(jié)合所述跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣和拓?fù)鋱D結(jié)構(gòu)文件，計算任務(wù)與節(jié)點(diǎn)的匹配度評分，生成候選節(jié)點(diǎn)評分表及規(guī)則沖突標(biāo)記列表；

36、基于所述候選節(jié)點(diǎn)評分表和規(guī)則沖突標(biāo)記列表，通過啟發(fā)式算法生成最終的任務(wù)分配方案。

37、通過采用上述技術(shù)方案，系統(tǒng)能夠在動態(tài)資源需求和業(yè)務(wù)優(yōu)先級變化的情況下，高效地分配任務(wù)和資源，優(yōu)化系統(tǒng)性能，最終實(shí)現(xiàn)了精確的任務(wù)調(diào)度和資源利用，確保了多維度資源的高效協(xié)同和動態(tài)適應(yīng)。

38、可選地，基于所述候選節(jié)點(diǎn)評分表和規(guī)則沖突標(biāo)記列表，通過啟發(fā)式算法生成最終的任務(wù)分配方案的步驟包括：

39、獲取候選節(jié)點(diǎn)評分表、規(guī)則沖突標(biāo)記列表及資源池拓?fù)湫畔ⅲ?/p>

40、根據(jù)所述候選節(jié)點(diǎn)評分表為每個任務(wù)篩選可分配節(jié)點(diǎn)白名單，排除規(guī)則沖突標(biāo)記列表中的非法節(jié)點(diǎn)組合；

41、基于所述可分配節(jié)點(diǎn)白名單構(gòu)建初始種群集合；其中，每個種群個體采用染色體編碼表示任務(wù)分配方案；

42、基于所述候選節(jié)點(diǎn)評分表和資源池拓?fù)湫畔⒅械耐ㄐ叛舆t參數(shù)及節(jié)點(diǎn)負(fù)載數(shù)據(jù)，構(gòu)建多目標(biāo)適應(yīng)度函數(shù)；

43、根據(jù)實(shí)時資源池狀態(tài)數(shù)據(jù)動態(tài)調(diào)整所述多目標(biāo)適應(yīng)度函數(shù)中每個優(yōu)化目標(biāo)的權(quán)重系數(shù)；

44、對所述初始種群集合執(zhí)行錦標(biāo)賽選擇操作，生成父代種群；

45、基于資源池拓?fù)湫畔⒅械耐ㄐ怕窂奖恚瑢Ω复N群中的父代染色體進(jìn)行拓?fù)涓兄徊娌僮?，生成子代種群；

46、根據(jù)種群多樣性評估結(jié)果動態(tài)調(diào)整變異率，對所述子代種群中的子代染色體執(zhí)行基于候選節(jié)點(diǎn)評分表的概率變異；

47、對適應(yīng)度評分高于預(yù)設(shè)閾值的染色體執(zhí)行局部搜索優(yōu)化；

48、從父代種群與子代種群中篩選適應(yīng)度最優(yōu)的個體組成精英種群；

49、當(dāng)滿足收斂條件時，將所述精英種群中適應(yīng)度最高的染色體解碼為最終的任務(wù)分配方案。

50、通過采用上述技術(shù)方案，基于啟發(fā)式算法和遺傳算法的結(jié)合，實(shí)現(xiàn)了對任務(wù)分配方案的全局優(yōu)化，提高了任務(wù)分配的效率和質(zhì)量，最終能夠生成最優(yōu)的任務(wù)分配方案，確保系統(tǒng)資源得到高效利用，降低了通信成本，使得負(fù)載均衡優(yōu)化。

51、可選地，基于所述資源池最新狀態(tài)快照及調(diào)度失敗案例庫，更新所述時序預(yù)測模型的權(quán)重參數(shù)和所述調(diào)度策略規(guī)則庫，得到更新后的策略版本的步驟包括：

52、根據(jù)所述資源池最新狀態(tài)快照，得到節(jié)點(diǎn)負(fù)載率、存儲分布狀態(tài)及任務(wù)執(zhí)行進(jìn)度；

53、對所述節(jié)點(diǎn)負(fù)載率進(jìn)行動態(tài)歸一化處理，生成標(biāo)準(zhǔn)化負(fù)載率矩陣；

54、對所述存儲分布狀態(tài)進(jìn)行拓?fù)浣?，生成存儲資源分布熱力圖；

55、對所述任務(wù)執(zhí)行進(jìn)度進(jìn)行時間序列對齊，生成任務(wù)進(jìn)度時序表；

56、基于所述標(biāo)準(zhǔn)化負(fù)載率矩陣和任務(wù)進(jìn)度時序表，對所述時序預(yù)測模型進(jìn)行增量訓(xùn)練，更新模型權(quán)重參數(shù)；

57、根據(jù)所述存儲資源分布熱力圖動態(tài)調(diào)整時序預(yù)測模型的損失函數(shù)中的存儲約束權(quán)重；

58、結(jié)合所述任務(wù)進(jìn)度時序表和調(diào)度失敗案例庫，檢測所述調(diào)度策略規(guī)則庫中與任務(wù)執(zhí)行進(jìn)度矛盾的沖突規(guī)則；

59、對所述沖突規(guī)則進(jìn)行條件閾值重校準(zhǔn)及執(zhí)行優(yōu)先級動態(tài)排序，生成優(yōu)化后的調(diào)度策略規(guī)則庫；

60、基于所述存儲資源分布熱力圖和任務(wù)執(zhí)行進(jìn)度，對所述存儲需求分層策略進(jìn)行冷熱數(shù)據(jù)遷移路徑優(yōu)化，得到更新后的存儲分層配置文件；

61、將更新后的時序預(yù)測模型、優(yōu)化后的調(diào)度策略規(guī)則庫及存儲分層配置文件封裝為更新后的策略版本。

62、通過采用上述技術(shù)方案，確保了調(diào)度策略的持續(xù)優(yōu)化，通過數(shù)據(jù)驅(qū)動的方式實(shí)時調(diào)整系統(tǒng)的負(fù)載、存儲和任務(wù)調(diào)度策略，從而提升了系統(tǒng)資源利用率，減少了任務(wù)執(zhí)行延遲，并確保了系統(tǒng)的穩(wěn)定運(yùn)行。

63、第二方面，本技術(shù)提供一種多業(yè)務(wù)系統(tǒng)的智能算力及存儲調(diào)度系統(tǒng)，采用如下的技術(shù)方案：

64、一種多業(yè)務(wù)系統(tǒng)的智能算力及存儲調(diào)度系統(tǒng)，所述系統(tǒng)包括：

65、數(shù)據(jù)采集模塊，用于采集多業(yè)務(wù)系統(tǒng)中各節(jié)點(diǎn)的實(shí)時監(jiān)控數(shù)據(jù)；

66、特征提取模塊，用于對所述實(shí)時監(jiān)控數(shù)據(jù)進(jìn)行特征提取，生成包含業(yè)務(wù)類型標(biāo)簽、任務(wù)優(yōu)先級及數(shù)據(jù)訪問模式的結(jié)構(gòu)化特征向量，得到實(shí)時業(yè)務(wù)特征數(shù)據(jù)集；

67、預(yù)測模塊，用于基于所述實(shí)時業(yè)務(wù)特征數(shù)據(jù)集及歷史負(fù)載日志，通過時序預(yù)測模型預(yù)測未來預(yù)設(shè)時間窗口內(nèi)的算力需求值及存儲需求分層策略；

68、動態(tài)修正模塊，用于根據(jù)所述算力需求值及存儲需求分層策略，結(jié)合強(qiáng)化學(xué)習(xí)算法對預(yù)測結(jié)果進(jìn)行動態(tài)修正，生成動態(tài)資源需求表及跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣；

69、規(guī)則初始化模塊，用于基于業(yè)務(wù)類型初始化調(diào)度策略規(guī)則庫中的預(yù)設(shè)規(guī)則；

70、任務(wù)分配模塊，用于基于所述預(yù)設(shè)規(guī)則和資源池拓?fù)湫畔?，根?jù)所述動態(tài)資源需求表和跨業(yè)務(wù)優(yōu)先級權(quán)重矩陣，通過混合調(diào)度算法生成任務(wù)分配方案；

71、存儲數(shù)據(jù)遷移模塊，用于基于所述存儲需求分層策略，通過存儲調(diào)度引擎生成存儲數(shù)據(jù)遷移指令；

72、執(zhí)行模塊，用于將所述任務(wù)分配方案及存儲數(shù)據(jù)遷移指令發(fā)送至虛擬化資源編排模塊，執(zhí)行計算節(jié)點(diǎn)擴(kuò)容、任務(wù)遷移及存儲數(shù)據(jù)重分布操作；

73、狀態(tài)數(shù)據(jù)采集模塊，用于采集執(zhí)行后的資源池狀態(tài)數(shù)據(jù)，生成資源池最新狀態(tài)快照；所述資源池最新狀態(tài)快照包含節(jié)點(diǎn)負(fù)載率、存儲分布狀態(tài)及任務(wù)執(zhí)行進(jìn)度；

74、策略版本更新模塊，用于基于所述資源池最新狀態(tài)快照及調(diào)度失敗案例庫，更新所述時序預(yù)測模型的權(quán)重參數(shù)和所述調(diào)度策略規(guī)則庫，得到更新后的策略版本并應(yīng)用于下一調(diào)度周期。

75、第三方面，本技術(shù)提供一種計算機(jī)設(shè)備，采用如下的技術(shù)方案：

76、一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序以實(shí)現(xiàn)如第一方面所述方法的步驟。

77、第四方面，本技術(shù)提供一種計算機(jī)可讀存儲介質(zhì)，采用如下的技術(shù)方案：

78、一種計算機(jī)可讀存儲介質(zhì)，存儲有能夠被處理器加載并執(zhí)行如第一方面中任一種方法的計算機(jī)程序。

79、綜上所述，本技術(shù)包括以下至少一種有益技術(shù)效果：通過實(shí)時監(jiān)控數(shù)據(jù)和特征提取，系統(tǒng)能夠動態(tài)預(yù)測算力需求和存儲需求，從而生成精準(zhǔn)的資源需求表和優(yōu)先級矩陣。利用強(qiáng)化學(xué)習(xí)對預(yù)測結(jié)果進(jìn)行修正，優(yōu)化任務(wù)分配和存儲數(shù)據(jù)遷移策略，通過混合調(diào)度算法和存儲調(diào)度引擎，系統(tǒng)確保任務(wù)和數(shù)據(jù)能夠智能分配和遷移，以提高資源利用率。最終，基于實(shí)時反饋數(shù)據(jù)更新預(yù)測模型和調(diào)度策略，形成一個持續(xù)優(yōu)化的調(diào)度閉環(huán)，顯著提升了系統(tǒng)的調(diào)度效率、資源利用率和穩(wěn)定性。