本發(fā)明公開了一種基于多模態(tài)融合的多目標(biāo)跟蹤的方法和系統(tǒng)，包括目標(biāo)檢測模塊、特征提取模塊、特征融合模塊、相似度計算模塊及數(shù)據(jù)關(guān)聯(lián)模塊；其中，所述目標(biāo)檢測模塊采用yolov4算法從圖像獲取目標(biāo)的2D檢測框，并采用PointPillars算法從點(diǎn)云獲取目標(biāo)的3D檢測框，所述特征提取模塊用于對檢測框進(jìn)行處理，提取目標(biāo)的2D、3D外觀特征，本發(fā)明通過多個獨(dú)立的傳感器特征提取來保持可靠性，利用多模態(tài)加權(quán)融合方式，得到更全面的目標(biāo)特征，提高精度，可以有效避免單一傳感器失效問題，使用圖神經(jīng)網(wǎng)絡(luò)和圖卷積優(yōu)化目標(biāo)關(guān)聯(lián)，提升準(zhǔn)確度，濾波預(yù)測更新，彌補(bǔ)目標(biāo)的丟失問題，對多個目標(biāo)進(jìn)行實(shí)時跟蹤，生成對應(yīng)ID，關(guān)聯(lián)前后幀的同一目標(biāo)，實(shí)現(xiàn)高精度定位的效果。