本發(fā)明的目的是提供一種基于圖神經(jīng)網(wǎng)絡(luò)的整體知識蒸餾方法,包括:給定老師和學生網(wǎng)絡(luò)學習到的特征表示和分類預測的結(jié)果,以每個樣本為節(jié)點,網(wǎng)絡(luò)學習到的特征為節(jié)點的屬性,分類預測結(jié)果的K近鄰(KNN)關(guān)系為邊,為每個網(wǎng)絡(luò)構(gòu)建一個屬性圖;使用拓撲結(jié)構(gòu)自適應(yīng)的圖卷積神經(jīng)網(wǎng)絡(luò)聚合屬性圖中鄰域樣本的節(jié)點屬性以及拓撲信息來提取整體性知識,表示為統(tǒng)一的基于圖的嵌入向量;使用infoNCE估計最大化學生網(wǎng)絡(luò)與老師網(wǎng)絡(luò)的圖嵌入表示的互信息,并使用特征記憶存儲技術(shù)加速訓練效率。該方法:可以同時整合老師網(wǎng)絡(luò)中個體上的知識和關(guān)系上的知識,使學生網(wǎng)絡(luò)學習到整體性的知識,從而提升學生網(wǎng)絡(luò)的性能。
聲明:
“基于圖神經(jīng)網(wǎng)絡(luò)的整體知識蒸餾方法和系統(tǒng)” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學習研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)