本發(fā)明涉及云計算環(huán)境中并行任務(wù)的調(diào)度處理方法,公開一種針對MapReduce作業(yè)的容錯調(diào)度方法,以提高MapReduce作業(yè)的整體性能,減少節(jié)點失效時的作業(yè)延遲。本發(fā)明結(jié)合檢查點和主動復(fù)制兩種技術(shù),在Mapper任務(wù)執(zhí)行時創(chuàng)建本地檢查點和索引檢查點兩種檢查點,當(dāng)任務(wù)發(fā)生失效時,本地檢查點能夠?qū)⒊鲥e任務(wù)的狀態(tài)和執(zhí)行恢復(fù)到檢查點處,減少了任務(wù)的重復(fù)執(zhí)行時間;當(dāng)發(fā)生節(jié)點失效時,副本節(jié)點能夠根據(jù)索引檢查點快速構(gòu)造出失效節(jié)點上執(zhí)行的mapper任務(wù)的中間結(jié)果數(shù)據(jù),大大減少了重調(diào)度任務(wù)的執(zhí)行時間。實驗結(jié)果表明該方法能夠比Hadoop的運行時性能提高30%以上,同時并不明顯增加系統(tǒng)的存儲和網(wǎng)絡(luò)開銷。
聲明:
“MapReduce任務(wù)的容錯調(diào)度方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)