本發(fā)明公開(kāi)了一種基于多步新奇度的時(shí)態(tài)序列迭代預(yù)測(cè)算法、介質(zhì)和設(shè)備，算法包括先基于時(shí)態(tài)序列數(shù)據(jù)建立內(nèi)、外部模型，初始化多維經(jīng)驗(yàn)矩陣；外部模型抽樣訓(xùn)練；外部模型在每一次交互中，從時(shí)態(tài)序列數(shù)據(jù)獲取當(dāng)前狀態(tài)和獎(jiǎng)勵(lì)，并輸出當(dāng)前狀態(tài)、行為和預(yù)測(cè)的執(zhí)行行為后的狀態(tài)；內(nèi)部模型對(duì)外部模型預(yù)測(cè)的狀態(tài)進(jìn)行多步預(yù)測(cè)，預(yù)測(cè)信息存儲(chǔ)到多維經(jīng)驗(yàn)矩陣中，不斷迭代更新內(nèi)部模型；定義新奇度，在外部模型的每一次迭代，從多維經(jīng)驗(yàn)矩陣中抽出對(duì)應(yīng)元素，并比較每個(gè)元素和外部模型預(yù)測(cè)的狀態(tài)來(lái)計(jì)算新奇度；基于新奇度不斷迭代更新內(nèi)、外部模型，多維經(jīng)驗(yàn)矩陣也根據(jù)時(shí)間節(jié)點(diǎn)不斷更新。本發(fā)明解決強(qiáng)化學(xué)習(xí)中稀疏獎(jiǎng)勵(lì)的訓(xùn)練障礙，可達(dá)到模型更快收斂的效果。