一種基于深度強(qiáng)化學(xué)習(xí)的清潔機(jī)器人沿墻方法和清潔機(jī)器人，該方法包括：當(dāng)清潔機(jī)器人進(jìn)入沿墻場景時(shí)，獲取所述清潔機(jī)器人的傳感器的測量數(shù)據(jù)；將所述測量數(shù)據(jù)輸入到訓(xùn)練好的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，由所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)輸出沿墻動(dòng)作；控制所述清潔機(jī)器人基于所述沿墻動(dòng)作完成所述沿墻場景的運(yùn)動(dòng)和清潔操作；其中，所述深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練是基于多個(gè)智能體同步訓(xùn)練的異步優(yōu)勢動(dòng)作評(píng)價(jià)算法實(shí)現(xiàn)的。本申請(qǐng)的方案基于多個(gè)智能體同步訓(xùn)練的異步優(yōu)勢動(dòng)作評(píng)價(jià)算法訓(xùn)練深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，訓(xùn)練好的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)只要接收清潔機(jī)器人在沿墻場景中的傳感器數(shù)據(jù)，即可輸出最優(yōu)的沿墻動(dòng)作，使得清潔機(jī)器人較好地完成沿墻場景的清潔。