本發(fā)明提出了一種基于深度強(qiáng)化學(xué)習(xí)的軟件智能升級(jí)方法及裝置。所述方法包括：采集軟件運(yùn)行參數(shù)以及用戶操作參數(shù)，并確定所述軟件運(yùn)行參數(shù)以及用戶操作參數(shù)下軟件的基準(zhǔn)升級(jí)時(shí)間點(diǎn)；根據(jù)所述軟件運(yùn)行參數(shù)以及用戶操作參數(shù)，利用策略網(wǎng)絡(luò)給出預(yù)測(cè)的升級(jí)時(shí)間點(diǎn)，將預(yù)測(cè)的升級(jí)時(shí)間點(diǎn)和所述基準(zhǔn)升級(jí)時(shí)間點(diǎn)的差值作為強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)，并將獎(jiǎng)勵(lì)作為策略網(wǎng)絡(luò)的標(biāo)簽值，通過(guò)訓(xùn)練得到訓(xùn)練好的軟件智能升級(jí)模型；獲取軟件實(shí)時(shí)運(yùn)行參數(shù)和用戶操作參數(shù)，傳入訓(xùn)練好的軟件智能升級(jí)模型，得到當(dāng)前升級(jí)時(shí)間點(diǎn)的可信值，并根據(jù)可信值判斷是否進(jìn)行升級(jí)。本發(fā)明基于強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)，實(shí)現(xiàn)軟件系統(tǒng)的智能升級(jí)時(shí)機(jī)預(yù)測(cè)，極大地提高軟件升級(jí)效率。