本公開(kāi)大體上涉及神經(jīng)網(wǎng)絡(luò)，并且更具體地涉及用于從經(jīng)修剪的神經(jīng)網(wǎng)絡(luò)中去除掩膜的技術(shù)。
背景技術(shù)：
1、“張量”是通常在線性代數(shù)應(yīng)用(例如機(jī)器學(xué)習(xí)和人工智能)中使用的數(shù)學(xué)構(gòu)造。標(biāo)量、向量和矩陣是張量的示例。神經(jīng)網(wǎng)絡(luò)通常包括一個(gè)或更多個(gè)張量，在神經(jīng)網(wǎng)絡(luò)的執(zhí)行期間對(duì)張量進(jìn)行處理以執(zhí)行一個(gè)或更多個(gè)操作。通過(guò)訓(xùn)練過(guò)程修改神經(jīng)網(wǎng)絡(luò)中包含的給定張量的值，以使神經(jīng)網(wǎng)絡(luò)的一個(gè)或更多個(gè)當(dāng)前輸出接近一個(gè)或更多個(gè)目標(biāo)輸出。訓(xùn)練完成后，神經(jīng)網(wǎng)絡(luò)中包含的部分或全部張量可能會(huì)很大。與大張量相關(guān)的操作通常無(wú)法快速執(zhí)行。因此，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常不適合用于實(shí)時(shí)、低延遲的應(yīng)用，例如自動(dòng)車輛控制等。
技術(shù)實(shí)現(xiàn)思路
1、在一個(gè)方面，描述了一種計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括：使得至少部分地基于第一神經(jīng)網(wǎng)絡(luò)部分的掩蔽輸出來(lái)生成所述第一神經(jīng)網(wǎng)絡(luò)部分的未掩蔽輸出，其中所述未掩蔽輸出的維數(shù)小于所述掩蔽輸出的維數(shù)；使得所述未掩蔽輸出替換所述掩蔽輸出；使得執(zhí)行分散操作以將所述未掩蔽輸出的維數(shù)擴(kuò)展為與所述掩蔽輸出相對(duì)應(yīng)的維數(shù)。
2、在另一個(gè)方面，描述了一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)程序指令，當(dāng)所述程序指令由至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器至少：使得至少部分地基于第一神經(jīng)網(wǎng)絡(luò)層的掩蔽輸出來(lái)生成所述第一神經(jīng)網(wǎng)絡(luò)層的未掩蔽輸出，其中所述未掩蔽輸出的維數(shù)不同于所述掩蔽輸出的維數(shù)；使得所述未掩蔽輸出替換所述掩蔽輸出；使得執(zhí)行第一操作以將所述未掩蔽輸出的維數(shù)縮放為與所述掩蔽輸出相對(duì)應(yīng)的維數(shù)。
3、在又一個(gè)方面，描述了一種系統(tǒng)。該系統(tǒng)包括：存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)一個(gè)或更多個(gè)指令；以及處理器，所述處理器執(zhí)行所述指令以至少：使得至少部分地基于第一神經(jīng)網(wǎng)絡(luò)層的掩蔽輸出來(lái)生成所述第一神經(jīng)網(wǎng)絡(luò)層的未掩蔽輸出，其中所述未掩蔽輸出的維數(shù)小于所述掩蔽輸出的維數(shù)，使得所述未掩蔽輸出替換所述掩蔽輸出，以及使得執(zhí)行分散操作以將所述未掩蔽輸出的維數(shù)擴(kuò)展為與所述掩蔽輸出相對(duì)應(yīng)的維數(shù)。
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述未掩蔽輸出與第一張量相關(guān)聯(lián)，并且所述掩蔽輸出與第二張量相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中使得生成所述未掩蔽輸出包括：
4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述第一掩膜將所述第一張量的所述第一部分清零，并且其中基于所述第一張量來(lái)評(píng)估所述第一函數(shù)，以產(chǎn)生獨(dú)立于所述第一張量的所述第一部分的第一結(jié)果。
5.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述第二張量?jī)H包括所述第一張量的第二部分。
6.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中處理器基于所述第二張量評(píng)估所述第一函數(shù)的速度比所述處理器基于所述第一張量評(píng)估所述第一函數(shù)的速度更快。
7.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，使得所述未掩蔽輸出替換所述掩蔽輸出包括：用所述第二張量替換所述第一張量，其中所述第二張量的維數(shù)小于所述第一張量的維數(shù)。
8.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中使得執(zhí)行所述分散操作包括：將一個(gè)或更多個(gè)零插入到所述未掩蔽輸出中。
9.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其存儲(chǔ)程序指令，當(dāng)所述程序指令由至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器至少：
10.一種系統(tǒng)，包括：