[发明专利]针对多次连续推理的神经网络动态退出轻量化方法和系统

说明书

本发明提供了一种针对多次连续推理的神经网络动态退出轻量化方法和系统，包括：步骤1：构建基于神经网络的推理模型，对于预设小时间范围内的每个推理，预测网络退出的位置，并相应地预测计算配置，所述计算配置包括频率和电压；对于预设大时间范围内的多个推理，通过剩余推理工作量和时间约束，进行处理器频率和电压校准；步骤2：根据预测和校准计算配置以执行神经网络，从而实现动态电压和频率调节。与经典深度学习网络相比，本发明可实现高达63.8％的节能，同时保证多次神经网络推理在规定的时间内完成，通过早期退出可以提前终止推断并获得准确的结果，减少了计算和能源成本。

技术领域

本发明涉及神经网络技术领域，具体地，涉及一种针对多次连续推理的神经网络动态退出轻量化方法和系统。

背景技术

深度学习方法，如卷积神经网络，在多用途应用中取得了巨大成功。然而，在资源受限的系统上部署深度学习模型的挑战之一是其巨大的能源成本。作为一种动态推理方法，早期退出为网络添加了退出层，这可以提前终止推理，并获得准确的结果以节省能源。目前用于提前退出的能量调节的被动决策无法适应正在进行的推理状态、不同的推理工作负载和时间限制，更不用说在推理过程中指导计算平台的合理配置以节省潜在的能源了。

专利文献US20210056357A1公开了用于实现灵活、输入自适应深度学习神经网络的系统和方法；专利文献US20210012178A1公开了用于早期退出卷积的系统、方法和设备；专利文献EP3997621A1公开了用于早期退出卷积的系统、方法和设备。上述文献虽然提出了提前退出的方法，但是无法实现对提前退出点的预测。

专利文献CN114997370A公开了一种基于预测退出的低功耗神经网络系统及其实现方法，虽然该专利文献提出了对提前退出点的预测，但是只能对单次神经网络推理进行预测并降低计算量和系统能耗，且预测精度低，无法高精度地从网络的前几层甚至第一次开始预测，无法高精度地对大型网络模型进行提前退出点预测。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种针对多次连续推理的神经网络动态退出轻量化方法和系统。

根据本发明提供的针对多次连续推理的神经网络动态退出轻量化方法，包括：

步骤1：构建基于神经网络的推理模型，对于预设小时间范围内的每个推理，预测网络退出的位置，并相应地预测计算配置，所述计算配置包括频率和电压；

步骤2：对于预设大时间范围内的多个推理，通过剩余推理工作量和时间约束，进行处理器频率和电压校准；

步骤3：根据预测和校准计算配置以执行神经网络，从而实现动态电压和频率调节。

优选的，在推理过程中设置推理的协调周期即推理任务期限，表达式为：

其中，λ表示任务截至时间的松紧，0λ≤1，λ越小，期限越紧；t_i表示每次推理实际完成时间；T_c为协调周期；M为推理任务的个数；T_i表示第i个推理任务的协调期限。

优选的，在执行推理任务时，计算过程中所消耗的功率为有功功率P_active，为动态功率P_D、静态功率P_S、恒功率P_C的总和；

计算平台空闲时消耗的功率为空闲功率P_idle，为静态功率P_S、恒功率P_C的总和；

P_D＝CV²f

P_S＝V N_tr I_S