本發(fā)明公開了一種分布式機器學(xué)習(xí)數(shù)據(jù)劃分方法,分為四個步驟:初始化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、狀態(tài)選取、數(shù)據(jù)劃分。本發(fā)明首先進行了驗證實驗,觀察到每個任務(wù)使用的資源量不同時,在BSP模式下,整個系統(tǒng)一輪完成時間總是取決于資源使用量最少的那個任務(wù)。這無疑浪費了大量的資源,嚴重拖慢整個系統(tǒng)的完成時間;然后根據(jù)量化分析結(jié)果,定義了問題模型和優(yōu)化目標(biāo),即在保證分布式機器學(xué)習(xí)模型訓(xùn)練精度值的前提下,提高整個分布式機器學(xué)習(xí)模型訓(xùn)練作業(yè)的計算效率;最后本發(fā)明提出一種基于強化學(xué)習(xí)的分布式機器學(xué)習(xí)數(shù)據(jù)劃分方法,并設(shè)計了一個雙目標(biāo)神經(jīng)網(wǎng)絡(luò),與現(xiàn)在有的傳統(tǒng)數(shù)據(jù)劃分策略相比發(fā)明的數(shù)據(jù)劃分方法使整個分布式機器學(xué)習(xí)模型訓(xùn)練的每輪計算效率顯著提高,對加快分布式機器學(xué)習(xí)執(zhí)行速度有較強的指導(dǎo)意義。
聲明:
“面向分布式機器學(xué)習(xí)的數(shù)據(jù)劃分方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學(xué)習(xí)研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)