本發(fā)明涉及一種流大數(shù)據(jù)處理任務(wù)的抗干擾調(diào)度方法和裝置,方法包括獲取由數(shù)據(jù)項(xiàng)組成的數(shù)據(jù)流,按時(shí)間窗口分批處理各個(gè)數(shù)據(jù)項(xiàng),預(yù)測(cè)后續(xù)時(shí)間窗口的數(shù)據(jù)流;根據(jù)預(yù)測(cè)的后續(xù)時(shí)間窗口的數(shù)據(jù)流,在各個(gè)計(jì)算節(jié)點(diǎn)中分配任務(wù);以每個(gè)計(jì)算節(jié)點(diǎn)的處理任務(wù)時(shí)間差距最小、每個(gè)計(jì)算節(jié)點(diǎn)中任務(wù)的共享資源需求總量不超過(guò)該計(jì)算節(jié)點(diǎn)一個(gè)時(shí)間窗口內(nèi)能提供的共享資源的最大值、每個(gè)計(jì)算節(jié)點(diǎn)的處理任務(wù)時(shí)間不超過(guò)一個(gè)時(shí)間窗口長(zhǎng)度為目標(biāo),進(jìn)行任務(wù)分配;獲取最終的任務(wù)分配結(jié)果,對(duì)實(shí)際到達(dá)的數(shù)據(jù)流進(jìn)行處理。與現(xiàn)有技術(shù)相比,本發(fā)明從更細(xì)的粒度對(duì)流大數(shù)據(jù)處理任務(wù)進(jìn)行調(diào)度,降低了任務(wù)在計(jì)算節(jié)點(diǎn)上執(zhí)行過(guò)程中的干擾,大大提高了數(shù)據(jù)中心計(jì)算節(jié)點(diǎn)的資源利用率。
聲明:
“一種流大數(shù)據(jù)處理任務(wù)的抗干擾調(diào)度方法和裝置” 該技術(shù)專(zhuān)利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請(qǐng)聯(lián)系該技術(shù)所有人。
我是此專(zhuān)利(論文)的發(fā)明人(作者)