本發(fā)明公開了一種Internet環(huán)境下MapReduce計(jì)算方法。該方法利用Internet桌面PC的空閑計(jì)算和存儲(chǔ)資源來進(jìn)行MapReduce計(jì)算。桌面PC以志愿者的形式加入系統(tǒng)成為工作節(jié)點(diǎn),用戶作為Master向服務(wù)器上傳待處理的數(shù)據(jù),服務(wù)器將Map和Reduce任務(wù)調(diào)度至工作節(jié)點(diǎn)上執(zhí)行,待所有任務(wù)完成,最終結(jié)果自動(dòng)返回給用戶。該方法在元數(shù)據(jù)管理基礎(chǔ)之上,采用數(shù)據(jù)驅(qū)動(dòng)的方式,將任務(wù)調(diào)度轉(zhuǎn)化為數(shù)據(jù)調(diào)度,解決了節(jié)點(diǎn)動(dòng)態(tài)易失效帶來的影響,提供了一種Internet環(huán)境下簡單有效的容錯(cuò)MapReduce計(jì)算模型與方法。采用本發(fā)明,可在校園、企業(yè)、政府內(nèi)利用現(xiàn)有桌面PC構(gòu)建以私有為目的的MapReduce計(jì)算平臺來進(jìn)行海量數(shù)據(jù)分析,或用于改進(jìn)志愿計(jì)算系統(tǒng)來支持MapReduce計(jì)算模型,降低志愿計(jì)算系統(tǒng)應(yīng)用開發(fā)的難度。
聲明:
“Internet環(huán)境下MapReduce計(jì)算方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)