本發(fā)明公開了一種基于強(qiáng)化學(xué)習(xí)的視頻連續(xù)手語識(shí)別方法及系統(tǒng)，方法包括：基于殘差連接的三維卷積神經(jīng)網(wǎng)絡(luò)對原始手語視頻的各個(gè)視頻段進(jìn)行時(shí)空域特征提取，對時(shí)空域特征利用雙向長短時(shí)記憶網(wǎng)絡(luò)進(jìn)行上下文學(xué)習(xí)，得到手語視頻的特征；基于多尺度感知網(wǎng)絡(luò)對手語視頻進(jìn)行不同感受野下的再表達(dá)，以最小化聯(lián)結(jié)主義時(shí)間分類損失為目標(biāo)將網(wǎng)絡(luò)訓(xùn)練至收斂后，將殘差連接的三維卷積神經(jīng)網(wǎng)絡(luò)和雙向長短時(shí)記憶網(wǎng)絡(luò)提取的視頻特征保存；基于保存的視頻特征，利用邊界檢測器根據(jù)定義的狀態(tài)確定出視頻段的語義邊界；將兩兩邊界之間語義一致的若干個(gè)視頻段以池化的方式進(jìn)一步提取特征，基于進(jìn)一步提取到的特征進(jìn)行手語詞匯的識(shí)別。本發(fā)明能夠提高手語識(shí)別性能。