本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域,具體為一種基于感知語法知識的樹結(jié)構(gòu)視頻描述生成方法。本發(fā)明顯式利用語言中存在的語義信息,使用依存結(jié)構(gòu)分析工具將順序結(jié)構(gòu)的句子轉(zhuǎn)換成語法樹的結(jié)構(gòu),通過樹之間父結(jié)點和子結(jié)點之間的連接關(guān)系,對句子當(dāng)中的依存語法結(jié)構(gòu)進行顯式建模;通過感知上下文的注意力網(wǎng)絡(luò),對生成過程中所產(chǎn)生的不同路徑上下文信息分別進行建模;同時,在訓(xùn)練階段引入強化學(xué)習(xí)和迭代式生成的訓(xùn)練方式,進一步提高模型性能;本發(fā)明通過定性和定量實驗,表明模型具有可生成更加準確、語義更加豐富描述的能力。
聲明:
“基于感知語法知識的視頻描述生成方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)