本發(fā)明公開一種基于深度強化學習的流水線并行訓練任務(wù)分配方法,步驟為:初始化深度學習模型,并把該模型載入;建立對目標深度學習模型運行時分析方案,構(gòu)建模型參數(shù)文本庫;根據(jù)獲取的模型參數(shù)文本信息,構(gòu)建任務(wù)分配預(yù)測網(wǎng)絡(luò);使用策略梯度訓練預(yù)測網(wǎng)絡(luò),直至生成最優(yōu)流水線并行任務(wù)分配方案;按照生成的最優(yōu)任務(wù)分配方案,在異構(gòu)計算節(jié)點中部署模型,完成訓練任務(wù)。本發(fā)明有效避免節(jié)點計算能力和網(wǎng)絡(luò)帶寬差差異帶來的負載不均衡問題,提高模型訓練速度,并且模型參數(shù)越大,提升效果越明顯。
聲明:
“基于深度強化學習的流水線并行訓練任務(wù)分配方法” 該技術(shù)專利(論文)所有權(quán)利歸屬于技術(shù)(論文)所有人。僅供學習研究,如用于商業(yè)用途,請聯(lián)系該技術(shù)所有人。
我是此專利(論文)的發(fā)明人(作者)