本發(fā)明提出了一種面向邊緣設(shè)備深度學(xué)習(xí)模型推理的自適應(yīng)批處理和并行調(diào)度系統(tǒng)，包括決策模塊、動(dòng)態(tài)批處理調(diào)度模塊、模型并行模塊、性能分析器四部分；決策模塊對(duì)深度學(xué)習(xí)模型的批處理和并行推理進(jìn)行調(diào)度建模并為不同模型選擇合適的批處理大小和模型并行數(shù)量，動(dòng)態(tài)批處理調(diào)度模塊進(jìn)行批處理推理；模型并行模塊同時(shí)處理多個(gè)推理請(qǐng)求；性能分析器以在線方式實(shí)時(shí)收集邊緣設(shè)備的系統(tǒng)狀態(tài)；與傳統(tǒng)的啟發(fā)式和其他強(qiáng)化學(xué)習(xí)方法相比，本發(fā)明設(shè)計(jì)的基于最大熵強(qiáng)化學(xué)習(xí)的調(diào)度決策算法，在對(duì)系統(tǒng)吞吐量和推理延遲的權(quán)衡方面有著3.2～58％的性能提升，同時(shí)收斂速度是其他算法的1.8～6.5倍；此外，平均調(diào)度開(kāi)銷只有其他算法的49％。