[发明专利]针对多次连续推理的神经网络动态退出轻量化方法和系统

权利要求书

1.一种针对多次连续推理的神经网络动态退出轻量化方法，其特征在于，包括：

步骤1：构建基于神经网络的推理模型，对于预设小时间范围内的每个推理，预测网络退出的位置，并相应地预测计算配置，所述计算配置包括频率和电压；对于预设大时间范围内的多个推理，通过剩余推理工作量和时间约束，进行处理器频率和电压校准；

步骤2：根据预测和校准计算配置以执行神经网络，从而实现动态电压和频率调节。

2.根据权利要求1所述的针对多次连续推理的神经网络动态退出轻量化方法，其特征在于，在推理过程中设置推理的协调周期即推理任务期限，表达式为：

其中，λ表示任务截至时间的松紧，0＜λ≤1，λ越小，期限越紧；t_i表示每次推理实际完成时间；T_c为协调周期；M为推理任务的个数；T_i表示第i个推理任务的协调期限。

3.根据权利要求2所述的针对多次连续推理的神经网络动态退出轻量化方法，其特征在于，在执行推理任务时，计算过程中所消耗的功率为有功功率P_active，为动态功率P_D、静态功率P_S、恒功率P_C的总和；

计算平台空闲时消耗的功率为空闲功率P_idle，为静态功率P_S、恒功率P_C的总和；

P_D＝CV²f

P_S＝VN_trI_S

其中，C为开关逻辑门的电容；V表示处理器的供电电压；f表示处理器时钟频率；N_tr为逻辑门的数目；I_S为每个逻辑门的归一化静态电流；

T_i内每个推理的能量消耗为：

位于早期退出之前的网络层运行在(V_H，f_H)，在t_i点网络退出后，计算平台通过动态电压频率调整技术DVFS将电压和频率降至最低电平(V_L，f_L)，因此，推理任务j_i的能量消耗表示为：

E_i表示推理任务j_i能量消耗；V_H表示处理器高的供电电压；f_H表示处理器高时钟频率；V_L表示处理器低的供电电压。

4.根据权利要求3所述的针对多次连续推理的神经网络动态退出轻量化方法，其特征在于，在一个推理任务j_i中，先预测网络退出位置，建立剩余层数以完成该推理；然后根据剩余层数和最推理坏情况执行时间T_i直到当前推理结束，建立(V，f)进行预测；根据T_c上剩余的推理量，通过反馈控制策略启用交叉推理校准器，根据多推理进度、总推理工作量和时间约束来校准(V，f)；根据预测和校准，通过DVFS在运行时更新处理器到适当的计算配置。