本發(fā)明涉及一種基于跨模態(tài)預(yù)測(cè)裝配場(chǎng)景的機(jī)器人裝配的方法及系統(tǒng)，其中，在所述機(jī)器人末端的夾持執(zhí)行器上設(shè)有觸覺傳感器，并且所述夾持執(zhí)行器的裝配區(qū)域被視覺設(shè)備拍攝：提供多個(gè)神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型包括多層感知機(jī)、強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型和張量融合網(wǎng)絡(luò)模型，其中的訓(xùn)練數(shù)據(jù)包含來自所述視覺設(shè)備的視覺數(shù)據(jù)、來自所述觸覺傳感器的觸覺數(shù)據(jù)、來自機(jī)器人控制器的位姿數(shù)據(jù)、所述機(jī)器人的動(dòng)作反饋數(shù)據(jù)和力矩反饋數(shù)據(jù)。本發(fā)明的多層感知機(jī)輸出的預(yù)測(cè)視覺表征向量代替現(xiàn)有采用視覺設(shè)備收集實(shí)際真實(shí)圖片的數(shù)據(jù)，使該系統(tǒng)發(fā)生譬如被夾持執(zhí)行器遮擋視覺設(shè)備或者視覺設(shè)備出現(xiàn)虛焦等問題時(shí)，整個(gè)系統(tǒng)仍能完成精密裝配步驟，增加系統(tǒng)的可靠性。