本申請(qǐng)涉及航空機(jī)器學(xué)習(xí)領(lǐng)域，為一種免模型強(qiáng)化學(xué)習(xí)的軟件測(cè)試方法，包括根據(jù)要測(cè)試的功能集，構(gòu)建測(cè)試條件集C，構(gòu)建被測(cè)軟件的觀測(cè)空間O，構(gòu)建測(cè)試動(dòng)作空間A，形成測(cè)試模擬環(huán)境；構(gòu)建對(duì)動(dòng)作序列執(zhí)行效果進(jìn)行獎(jiǎng)賞的獎(jiǎng)賞函數(shù)；構(gòu)建能夠作用于軟件本身的動(dòng)作執(zhí)行驅(qū)動(dòng)接口；構(gòu)建能夠自我學(xué)習(xí)的測(cè)試策略網(wǎng)絡(luò)；構(gòu)建免模型的強(qiáng)化學(xué)習(xí)損失函數(shù)；驅(qū)動(dòng)測(cè)試策略網(wǎng)絡(luò)實(shí)時(shí)生成軟件操作動(dòng)作并通過動(dòng)作執(zhí)行驅(qū)動(dòng)接口作用于軟件，進(jìn)行計(jì)算并記錄數(shù)據(jù)元組，存入數(shù)據(jù)集；所述強(qiáng)化學(xué)習(xí)損失函數(shù)利用數(shù)據(jù)集優(yōu)化測(cè)試策略網(wǎng)絡(luò)參數(shù)。具有測(cè)試效率高、測(cè)試時(shí)間短、準(zhǔn)確性高的技術(shù)效果。