[发明专利]基于神经网络相似度建模的实时DNN调度系统及方法

说明书

本发明公开了基于神经网络相似度建模的实时DNN调度系统及方法，包括：DNN特征提取模块，对DNN网络结构进行提取分析和判断，将需要预测的网络结构特征发送到DNN性能表征模块；DNN性能表征模块，进行网络结构特征进行性能预测，预测其在每个设备上的运行时间，经过目标微调后，调度模块对每个任务已知的性能表征进行调度，以确保任务以最小的等待时间在最大截止时间之前完成。本发明首先对神经网络任务进行神经网络建模，提取关键特征。紧接着，通过性能表征网络对每个设备上的每个任务进行性能表征预测，得到性能表征矩阵；最后，以性能表征矩阵性能表征矩阵为调度矩阵，利用LLF算法求解最优调度策略，有效提高了性能和任务接受率。

技术领域

本发明涉及神经网络领域，特别涉及一种基于神经网络相似度建模的实时DNN调度系统及方法。

背景技术

近年来，深度神经网络(DNNs)的发展带动了人工智能(AI)在物联网(IoT)和信息物理系统(CPS)中的应用，如自动驾驶、环境传感和智能机器人等。为了保证收集到的环境信息的有效性和正确性，IoT、CPS等异构分布式系统必须对实时DNN推理任务提供及时响应，需要一个实时调度框架来满足对延迟的要求。此外，为了提高调度性能，此类系统需要提前获取推理时间。然而，在DNN模型的快速迭代中，很难实时测量每个新生成模型的实际推理时间。这也是DNN推理任务中基于时间感知的调度算法设计遇到的主要挑战。

现有的最先进的DNN推理框架有助于提高执行批处理任务的吞吐量和资源效率，如Torch、TensorFlow和Caffe等。但在他们的方法中没有考虑到时间要求，这对于时间关键系统是特别重要的。在最近的研究中，大多数DNN推理框架的调度策略集中在并行机制、批处理大小、资源感知等方面。其中，有论文提出了一种采用自适应批处理来调度DNN推理作业的方法，但它们只能在云环境中，大部分边缘实时推理环境并不适用；还有论文提出了一种满足特定推理服务时延的调度方法，可以实现更短的任务调度响应时间，但该方法没有考虑多个DNN之间的推理时间差，也没有考虑DNN模型的频繁迭代，导致该方法无法适用于不断变化的实时推理调度任务。因此，由于缺乏时间预测方法，以往的工作要么不能满足时间需求，要么在异构模型或设备上调度效率较低。

从以上工作可以明显看出，推理时间感知在调度中是至关重要的。为了预测推理时间，越来越多的研究集中在DNN每一层计算复杂度上。一些研究通过对网络在设备上的所有层进行评估，提前获得DNN推理性能。然而，这种侵入式方法依赖于昂贵的计算，并要求框架代码是开源的，这很难应用于频繁执行复杂DNN推理任务的实时调度系统。现有技术中曾引入了一个相似性指数来衡量表征相似矩阵之间的关系，这相当于中心核对齐(CKA)。然而，它们仍然无法逃避度量神经网络相似性的侵入性度量方法。尽管最近有论文提出了一种非侵入式的方法来分析每个DNN层的内存使用情况，但由于特征覆盖率不足，它只能用于分析内存，而不能用于分析网络性能。

综上所述，之前的研究表明，基于DNN在设备上的推断时间进行调度可以获得最佳响应时间。但是，如果通过测量来获取推理时间，将消耗大量的计算能力，这也不适用于频繁更新和迭代的DNN模型。虽然最近的研究工作已经在DNN推理调度和DNN模型剖析方面做了，但很少关注基于DNN模型独特性的实时推理框架。我们广泛的测量表明，相似的DNN结构性能可以导致相似的DNN性能表征在一定的设备上。受此启发，我们认为DNN推理时间可以通过模型的性能表征方法进行理论预测，这有助于建立最有效的调度框架。

发明内容

本发明目的是：针对DNN推理任务的最大响应时间问题，本发明提供一种基于神经网络相似度建模的实时DNN调度系统及方法，本发明主要解决的问题有以下三点：

(a)根据神经网络性能表征探究其相似关系。

随着越来越多的人工智能应用场景的开发，DNN模型的数量呈爆炸式增长。为解决异构DNN模型之间的巨大差异带来的分析困难，本专利提出了一套分析异构DNN模型的相似度方法论。

(b)通过DNN性能表征的相似性来预测DNN推理时间。