[发明专利]基于神经网络相似度建模的实时DNN调度系统及方法

权利要求书

1.基于神经网络相似度建模的实时DNN调度系统，其特征在于，包括：

DNN特征提取模块，对DNN网络结构进行提取分析和判断，根据判断结果将需要预测的网络结构特征发送到DNN性能表征模块，其余无需预测的网络结构特征发送到调度模块；

DNN性能表征模块，对网络结构特征进行性能预测，预测其在每个设备上的运行时间，经过目标微调后，发送到调度模块；

调度模块，对每个任务已知的性能表征进行调度，以确保任务以最小的等待时间在最大截止时间之前完成；

所述DNN特征提取模块包括：

网络结构分析器，对神经网络进行离线分析，得到与性能表征相关的网络结构特征，通过特征提取方法实现对神经网络计算任务的建模分析；随后针对所得到的特征，提取关键特征，并在关键特征上实现单一设备的网络性能表征预测；

结构检查器，根据网络结构分析器提取的网络结构特征选择网络性能预测策略，网络结构分析器采用皮尔森系数分析和多次残差拟合提取关键特征；结构检查器通过网络的总计算量来判断网络的规模，并对不同规模的网络采用不同的预测策略；小型网络根据网络参数的数量、层数和计算量来得到其在每个设备上的性能表征的传统模型，并使用线性回归模型进行预测；其他网络由运行时性能描述模块预测；

所述DNN性能表征模块，包括：

网络特征数据库，负责维护大中型网络的结构数据，通过维护网络特征数据库形成反馈数据流，以便在推理过程中提供反馈条件；

性能表征网络，用于基于神经网络相似度建模对异构设备上网络的性能表征进行预测；

时间微调器，用于在线微调预测结果的精度，通过自动选择网络特征拟合预测残差，使预测结果更接近实际运行时间；

所述调度模块，包括：

收集器，对于大中型网络，直接收集DNN 性能预测模型预测的结果作为任务运行时间预测；对于小型网络，收集器使用传统的预测模型来预测它们的运行时间；收集器将任务性能表征预测的结果传递到调度矩阵中，并将其传递给任务调度器进行调度；

任务调度器，根据从收集器获得的调度矩阵生成调度策略，使用添加限制的最小松弛优先调度LLF，对任务进行调度，在保证最大任务接受率的同时最小化等待时间。

2.基于神经网络相似度建模的实时DNN调度方法，其特征在于，包括步骤：

S1、在DNN特征提取模块，对DNN网络结构进行提取分析和判断，根据判断结果将需要预测的网络结构特征发送到DNN性能表征模块，其余无需预测的网络结构特征发送到调度模块；

采用网络结构分析器对神经网络进行离线分析，得到与性能表征相关的网络结构特征；通过特征提取方法实现对神经网络计算任务的建模分析；

随后针对所得到的特征，提取关键特征，并在关键特征上实现单一设备的网络性能表征预测；

并采用结构检查器，根据网络结构分析器提取的网络结构特征选择网络性能预测策略；

网络结构分析器采用皮尔森系数分析和多次残差拟合提取关键特征；

结构检查器通过网络的总计算量来判断网络的规模，并对不同规模的网络采用不同的预测策略；小型网络根据网络参数的数量、层数和计算量来得到其在每个设备上的性能表征的传统模型，并使用线性回归模型进行预测；其他网络由运行时性能描述模块预测；

S2、在DNN性能表征模块中，对网络结构特征进行性能预测，预测其在每个设备上的运行时间，经过目标微调后，发送到调度模块；

采用网络特征数据库维护大中型网络的结构数据，通过维护网络特征数据库形成反馈数据流；

采用性能表征网络基于神经网络相似度建模对异构设备上网络的性能表征进行预测；

采用时间微调器通过自动选择网络特征拟合预测残差，使预测结果更接近实际运行时间；

S3、在调度模块中，对每个任务已知的性能表征进行调度，以确保任务以最小的等待时间在最大截止时间之前完成；

收集器将任务建模结果集成为后续调度单元的调度矩阵，并将其传递给任务调度器进行调度；

任务调度器根据从收集器获得的调度矩阵生成调度策略，在保证接受率的前提下使任务等待时间最小化；

收集器对于大中型网络，直接收集DNN性能预测模型预测的结果作为任务运行时间预测；对于小型网络，收集器使用传统的预测模型来预测它们的运行时间；最后，收集器将任务性能表征预测的结果传递到调度矩阵中，并将其传递给任务调度器进行调度；

任务调度器，使用添加限制的最小松弛优先调度LLF，对任务进行调度，在保证最大任务接受率的同时最小化等待时间。

3.根据权利要求2所述的基于神经网络相似度建模的实时DNN调度方法，其特征在于，步骤S2中，网络特征数据库基于反馈数据流，设计调度系统的反馈学习算法，其中学习机制分为两部分:在线微调机制和离线再培训模式；性能表征网络基于神经网络相似度建模，具有自注意模块，作为预测DNN网络性能的一种方法。