本發(fā)明提供一種用于進(jìn)行使用了機(jī)器人的缺陷檢查的機(jī)器學(xué)習(xí)裝置、機(jī)器人控制系統(tǒng)以及機(jī)器學(xué)習(xí)方法。機(jī)器學(xué)習(xí)裝置具有：狀態(tài)信息取得部，其從機(jī)器人控制檢查系統(tǒng)取得包含缺陷檢測(cè)信息、機(jī)器人機(jī)械手的移動(dòng)路徑和工件的拍攝點(diǎn)、照相機(jī)的拍攝次數(shù)在內(nèi)的狀態(tài)信息s，機(jī)器人控制檢查系統(tǒng)使機(jī)器人機(jī)械手把持工件或者照相機(jī)來(lái)進(jìn)行工件的缺陷檢查，缺陷檢測(cè)信息包含工件的缺陷檢測(cè)部位；行為信息輸出部，其輸出狀態(tài)s的調(diào)整信息即行為a；回報(bào)計(jì)算部，其根據(jù)包含缺陷檢測(cè)部位的缺陷檢測(cè)信息，計(jì)算強(qiáng)化學(xué)習(xí)中的回報(bào)值；價(jià)值函數(shù)更新部，其根據(jù)由回報(bào)計(jì)算部計(jì)算出的回報(bào)值、狀態(tài)s、行為a來(lái)進(jìn)行強(qiáng)化學(xué)習(xí)，由此更新行為價(jià)值函數(shù)Q。