本發(fā)明屬于強(qiáng)化學(xué)習(xí)，具體涉及基于深度強(qiáng)化學(xué)習(xí)的微納結(jié)構(gòu)優(yōu)化設(shè)計(jì)方法。

背景技術(shù)：

1、隨著微納技術(shù)的快速發(fā)展，微納結(jié)構(gòu)在電子、光學(xué)、能源和生物等領(lǐng)域的應(yīng)用日益廣泛。微納結(jié)構(gòu)的設(shè)計(jì)直接決定了器件的性能，例如隧穿二極管的量子隧穿效率、量子點(diǎn)器件的光電轉(zhuǎn)換性能，以及異質(zhì)結(jié)界面的傳輸特性等。然而，現(xiàn)有微納結(jié)構(gòu)的優(yōu)化設(shè)計(jì)方法多依賴于傳統(tǒng)的物理建模和數(shù)值模擬，這些方法雖然在一定程度上實(shí)現(xiàn)了性能優(yōu)化，但仍存在局限性。隨著應(yīng)用需求的增加，微納結(jié)構(gòu)設(shè)計(jì)中的參數(shù)復(fù)雜性、耦合特性以及性能目標(biāo)多樣化，亟需一種更加智能化的優(yōu)化手段。

2、目前，微納結(jié)構(gòu)的設(shè)計(jì)優(yōu)化主要依賴以下方法：傳統(tǒng)的優(yōu)化方法如梯度下降、遺傳算法和粒子群優(yōu)化算法被廣泛應(yīng)用于微納結(jié)構(gòu)設(shè)計(jì)中。例如，在量子隧穿器件中，研究人員通常構(gòu)建勢壘高度和寬度的數(shù)學(xué)模型，基于目標(biāo)函數(shù)(如隧穿電流最大化)通過梯度下降法逐步調(diào)整參數(shù)，尋找局部最優(yōu)解。這類方法通過引入?yún)?shù)空間搜索策略，在一定程度上提升了設(shè)計(jì)效率。然而，這些方法對初始條件和目標(biāo)函數(shù)形式高度敏感，在高維參數(shù)空間中易陷入局部最優(yōu)，且缺乏對多目標(biāo)優(yōu)化的處理能力。例如，當(dāng)同時(shí)優(yōu)化隧穿電流和應(yīng)力分布時(shí)，經(jīng)典算法往往難以找到兩者之間的最優(yōu)平衡點(diǎn)。有限元分析是設(shè)計(jì)微納結(jié)構(gòu)的重要工具，通過構(gòu)建結(jié)構(gòu)的力學(xué)、電學(xué)或熱學(xué)模型，對其性能進(jìn)行仿真。例如，在異質(zhì)界面的力學(xué)優(yōu)化中，有限元方法可用于模擬界面應(yīng)力分布并分析其對結(jié)構(gòu)穩(wěn)定性的影響。然而，有限元分析通?；诮?jīng)典物理假設(shè)，忽略了微納結(jié)構(gòu)中顯著的量子效應(yīng)。例如，在納米尺度下，電子傳輸特性受到量子隧穿、量子干涉和表面效應(yīng)的顯著影響，而這些效應(yīng)通常無法在經(jīng)典有限元框架中充分體現(xiàn)。此外，有限元分析的計(jì)算復(fù)雜度較高，難以適應(yīng)需要頻繁迭代的大規(guī)模優(yōu)化任務(wù)。近年來，機(jī)器學(xué)習(xí)在微納結(jié)構(gòu)設(shè)計(jì)中的應(yīng)用逐漸增多。通過構(gòu)建材料的高通量篩選數(shù)據(jù)庫并訓(xùn)練深度學(xué)習(xí)模型，研究人員可以快速預(yù)測微納結(jié)構(gòu)的性能。例如，基于神經(jīng)網(wǎng)絡(luò)的模型可用于預(yù)測材料的導(dǎo)熱性能或電子遷移率。然而，現(xiàn)有的機(jī)器學(xué)習(xí)方法通常僅限于性能預(yù)測，缺乏有效的優(yōu)化反饋機(jī)制。大多數(shù)模型在訓(xùn)練階段需要大量的數(shù)據(jù)支撐，但在實(shí)際優(yōu)化設(shè)計(jì)中無法靈活調(diào)整模型參數(shù)以適應(yīng)新的目標(biāo)需求。此外，機(jī)器學(xué)習(xí)模型的“黑箱性”限制了其在多物理場耦合問題中的應(yīng)用，難以準(zhǔn)確反映微納結(jié)構(gòu)設(shè)計(jì)中的量子效應(yīng)和熱力學(xué)特性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供基于深度強(qiáng)化學(xué)習(xí)的微納結(jié)構(gòu)優(yōu)化設(shè)計(jì)方法，顯著提升了優(yōu)化精度和效率，同時(shí)具備動態(tài)調(diào)整和全局搜索能力，解決了傳統(tǒng)方法在高維參數(shù)空間中易陷入局部最優(yōu)、多目標(biāo)優(yōu)化能力不足等問題，廣泛適用于量子器件、納米復(fù)合材料和異質(zhì)界面結(jié)構(gòu)等場景的性能提升和設(shè)計(jì)優(yōu)化。

2、為了解決上述問題，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、基于深度強(qiáng)化學(xué)習(xí)的微納結(jié)構(gòu)優(yōu)化設(shè)計(jì)方法，所述方法包括：

4、步驟1：獲取微納結(jié)構(gòu)的電子密度分布，構(gòu)建微納結(jié)構(gòu)的量子態(tài)波函數(shù)，以描述微納結(jié)構(gòu)在多尺度下的特征；基于量子態(tài)波函數(shù)，計(jì)算微納結(jié)構(gòu)的量子應(yīng)力場；根據(jù)微納結(jié)構(gòu)的勢壘高度和勢壘寬度，計(jì)算量子隧穿電流密度；

5、步驟2：將量子波態(tài)函數(shù)、量子應(yīng)力場和量子隧穿電流密度映射到強(qiáng)化學(xué)習(xí)的狀態(tài)空間，得到強(qiáng)化學(xué)習(xí)的狀態(tài)向量；基于狀態(tài)向量生成優(yōu)化動作；根據(jù)優(yōu)化動作更新微納結(jié)構(gòu)的參數(shù)；計(jì)算微納結(jié)構(gòu)的參數(shù)更新后微納結(jié)構(gòu)的結(jié)構(gòu)性能；

6、步驟3：基于結(jié)構(gòu)性能的變化率，建立基于李雅普諾夫穩(wěn)定性的收斂判據(jù)，判斷是否收斂，若是，則終止，完成本次優(yōu)化設(shè)計(jì)，若不是，則返回步驟2。

7、進(jìn)一步的，步驟1中，獲取電子密度分布的方法包括：使用透射電子顯微鏡通過高分辨成像技術(shù)獲取電子密度分布；使用掃描隧道顯微鏡測量局域電子態(tài)密度，通過隧穿電流映射出電子密度分布；或進(jìn)行x射線散射實(shí)驗(yàn)，使得x射線與微納結(jié)構(gòu)的材料中的電子發(fā)生散射，產(chǎn)生的散射圖案通過傅里葉變換還原電子密度分布。

8、進(jìn)一步的，步驟1中，通過如下公式，構(gòu)建微納結(jié)構(gòu)的量子態(tài)波函數(shù)：

9、

10、其中，ψ(r，t)表示微納結(jié)構(gòu)在時(shí)間t和空間位置r上的量子態(tài)波函數(shù)；ρ(r)表示微納結(jié)構(gòu)在空間位置r上的電子密度分布；en表示量子系統(tǒng)中第n個(gè)能級；kb為玻爾茲曼常數(shù)；t為溫度；表示能級en在熱平衡條件下的概率分布；為普朗克常數(shù)的約化值；m*為電子在微納結(jié)構(gòu)的材料中的等效質(zhì)量；ψn(r，t)為表示微納結(jié)構(gòu)在時(shí)間t和空間位置r上的第n個(gè)量子態(tài)的波函數(shù)；為拉普拉斯算子；n為能級數(shù)量。

11、進(jìn)一步的，步驟1中，通過如下公式，基于量子態(tài)波函數(shù)，計(jì)算微納結(jié)構(gòu)的量子應(yīng)力場：

12、

13、其中，表示在空間位置r上的第i行，第j列的分量；i和j均為空間坐標(biāo)方向的索引，取值均為1，2和3，分別對應(yīng)于三維直角坐標(biāo)系的x軸，y軸和z軸三個(gè)方向；當(dāng)i＝j(luò)，表示正應(yīng)力；當(dāng)i≠j，表示剪切應(yīng)力；ψ*(r，t)為ψ(r，t)的共軛；xi表示微納結(jié)構(gòu)中的第i個(gè)空間坐標(biāo)分量；xj表示微納結(jié)構(gòu)中的第j個(gè)空間坐標(biāo)分量；x1表示x軸坐標(biāo)分量；x2表示y軸坐標(biāo)分量；x3表示z軸坐標(biāo)分量。

14、進(jìn)一步的，步驟1中，通過如下公式，根據(jù)微納結(jié)構(gòu)的勢壘高度和勢壘寬度，計(jì)算量子隧穿電流密度：

15、

16、其中，jquantum為量子隧穿電流密度；e為電子電荷；ef為費(fèi)米能級；t(e)表示透射系數(shù)；f(·)表示費(fèi)米-狄拉克分布函數(shù)；φ為勢壘高度；d為勢壘寬度。

17、進(jìn)一步的，步驟2中，強(qiáng)化學(xué)習(xí)的狀態(tài)向量通過如下公式計(jì)算得到：

18、

19、其中，ω為微納結(jié)構(gòu)的結(jié)構(gòu)域；λ為微納結(jié)構(gòu)的平均界面厚度；st表示時(shí)間t時(shí)的狀態(tài)向量。

20、進(jìn)一步的，步驟2中，設(shè)強(qiáng)化學(xué)習(xí)的模型參數(shù)為θ，學(xué)習(xí)率為β，模型參數(shù)θ的策略函數(shù)為πθ；使用如下公式，基于狀態(tài)向量生成優(yōu)化動作：

21、

22、其中，at表示時(shí)間t時(shí)的優(yōu)化動作；w為強(qiáng)化學(xué)習(xí)的權(quán)重矩陣；σ為高斯分布的標(biāo)準(zhǔn)差；強(qiáng)化學(xué)習(xí)的模型參數(shù)θ滿足以下更新規(guī)則：

23、

24、其中，fobj為微納結(jié)構(gòu)的結(jié)構(gòu)性能；表示強(qiáng)化學(xué)習(xí)的模型參數(shù)θ的梯度；表示狀態(tài)向量的梯度；v為值函數(shù)；h(·)表示系統(tǒng)哈密頓量。

25、進(jìn)一步的，微納結(jié)構(gòu)的結(jié)構(gòu)性能使用如下公式計(jì)算得到：

26、

27、其中，εij表示對應(yīng)的應(yīng)變張量；y表示楊氏模量；γ表示表面能系數(shù)；κ表示梯度能系數(shù)；gs表示表面吉布斯自由能；eg表示能隙寬度。

28、進(jìn)一步的，步驟2中，微納結(jié)構(gòu)的參數(shù)為一個(gè)向量，其元素包括：楊氏模量、勢壘高度、勢壘寬度、透射系數(shù)和平均界面厚度。

29、進(jìn)一步的，步驟3中基于結(jié)構(gòu)性能的變化率，通過如下公式，建立基于李雅普諾夫穩(wěn)定性的收斂判據(jù)：

30、

31、其中，r為氣體常數(shù)；δg為表面吉布斯自由能的梯度；當(dāng)收斂判據(jù)λ小于設(shè)定的收斂閾值∈時(shí)，則判斷收斂。

32、本發(fā)明的基于深度強(qiáng)化學(xué)習(xí)的微納結(jié)構(gòu)優(yōu)化設(shè)計(jì)方法，具有以下有益效果：

33、微納結(jié)構(gòu)的性能優(yōu)化通常涉及多個(gè)相互沖突的目標(biāo)，例如提高隧穿電流密度可能會導(dǎo)致應(yīng)力集中增加，降低結(jié)構(gòu)穩(wěn)定性。本發(fā)明通過強(qiáng)化學(xué)習(xí)框架中的狀態(tài)向量，綜合考慮了多種性能目標(biāo)的動態(tài)變化，并結(jié)合策略網(wǎng)絡(luò)生成優(yōu)化動作，從而實(shí)現(xiàn)多目標(biāo)優(yōu)化的動態(tài)權(quán)衡。例如，在優(yōu)化隧穿晶體管時(shí)，系統(tǒng)可以同時(shí)關(guān)注隧穿電流的提升和界面力學(xué)穩(wěn)定性的維持。通過強(qiáng)化學(xué)習(xí)的動態(tài)策略調(diào)整機(jī)制，本發(fā)明能夠在不同目標(biāo)之間找到最佳平衡，避免傳統(tǒng)方法中單一目標(biāo)優(yōu)化導(dǎo)致的性能偏向問題。

34、此外，基于李雅普諾夫穩(wěn)定性的收斂判據(jù)確保了優(yōu)化過程的穩(wěn)定性，使得多目標(biāo)優(yōu)化能夠在復(fù)雜的參數(shù)空間中高效實(shí)現(xiàn)。微納結(jié)構(gòu)的優(yōu)化通常涉及多維參數(shù)(如材料特性、幾何參數(shù)和界面屬性)的耦合問題，傳統(tǒng)方法在高維參數(shù)空間中容易陷入局部最優(yōu)。本發(fā)明通過強(qiáng)化學(xué)習(xí)的深度策略網(wǎng)絡(luò)，利用狀態(tài)向量中的高維物理量作為輸入，能夠快速探索復(fù)雜參數(shù)空間。強(qiáng)化學(xué)習(xí)中的梯度更新規(guī)則結(jié)合目標(biāo)性能的導(dǎo)數(shù)信息和量子態(tài)波函數(shù)的動態(tài)變化，指導(dǎo)策略網(wǎng)絡(luò)在參數(shù)空間中選擇最優(yōu)調(diào)整方向，從而顯著提高搜索效率。此外，通過引入透射系數(shù)、電子密度分布梯度和界面自由能變化等物理特性，本發(fā)明能夠在高維參數(shù)空間中準(zhǔn)確捕捉微小調(diào)整對性能的影響，從而避免大范圍的盲目搜索。本發(fā)明的強(qiáng)化學(xué)習(xí)框架能夠通過狀態(tài)向量和策略網(wǎng)絡(luò)實(shí)現(xiàn)優(yōu)化過程的動態(tài)調(diào)整。在優(yōu)化過程中，模型參數(shù)會根據(jù)當(dāng)前狀態(tài)和目標(biāo)性能變化進(jìn)行自適應(yīng)更新。例如，當(dāng)某一階段的優(yōu)化動作對性能提升效果不顯著時(shí)，強(qiáng)化學(xué)習(xí)可以自動調(diào)整策略網(wǎng)絡(luò)的輸出方向，重新分配優(yōu)化資源，從而避免無效迭代。通過結(jié)合狀態(tài)向量中的量子應(yīng)力場和隧穿電流密度梯度，本發(fā)明能夠?qū)崟r(shí)捕捉微納結(jié)構(gòu)在不同階段的性能變化趨勢，并生成針對性的優(yōu)化動作。這種智能化的優(yōu)化方式顯著提升了效率，特別是在面對復(fù)雜設(shè)計(jì)問題時(shí)能夠快速響應(yīng)性能需求的變化。