[发明专利]面向强化学习的深度神经网络生成方法

权利要求书

1.一种面向强化学习的深度神经网络生成方法，其特征在于，包含以下步骤：采用循环神经网络产生子网络拓扑模型，设计需求驱动的直接奖励，对待识别的样本进行充分训练后计算该子网络拓扑模型的奖励，并反向传播至循环神经网络；采用策略梯度下降计算法则，结合交叉熵梯度模型，更新循环神经网络参数；产生新的卷积神经子网络拓扑模型，进行下一次更新直至收敛；对收敛时输出的子网络拓扑模型采样，选择最大概率项和其对应的状态空间元素，合并生成最优的子网络拓扑模型。

2.如权利要求1所述的深度神经网络生成方法，其特征在于，具体包含以下步骤：

S1、设定循环神经网络、待优化子网络拓扑模型每一层类型状态空间、子网络拓扑模型每一层状态所具有的动作空间、子网络拓扑模型训练后所返回的直接奖励以及状态探索概率、子网络拓扑模型全样本训练周期、奖励折扣参数；

S2、采样生成循环神经网络初始输入状态，并得到第一组子网络拓扑模型；

S3、在子网络拓扑模型和训练样本基础上，经过设定的训练周期后，经测试计算该子网络模型所对应的返回奖励；

S4、基于子网络模型所对应的返回奖励，并通过策略梯度下降准则，更新循环神经网络模型参数。

S5、基于更新后的循环神经网络，并共享状态空间参数，再次生成第二组子网络拓扑模型，重复S3～S5，直到收敛，输出该子网络拓扑模型；

S6、对输出的子网络拓扑模型进行采样，在每一个长短时记忆单元输出中选择最大概率项和其对应的状态空间元素，全部元素合并成最优的子网络拓扑模型。

3.如权利要求2所述的深度神经网络生成方法，其特征在于，所述子网络拓扑模型每一层类型状态空间定义为：

S＝{conv dconv pooling bn-activation skip quantization}

式中“conv”表示卷积状态、“dconv”表示深度可分离卷积状态、“pooling”表示池化状态、“bn-activation”表示批量归一化激活状态、“skip”表示跳跃连接点状态、“quantization”表示量化状态；

所述子网络拓扑模型每一层状态所具有的动作空间定义为：

式中，卷积状态动作输出滤波器个数，包括16、32、64三种选择；深度可分离卷积动作同卷积状态动作；池化状态动作集包含“max”和“avg”两种，其中，max表示最大值池化，avg表示平均值池化；批量归一化-激活状态动作集包含“ReLu”和“tanh”两种；跳跃连接状态包含L-l两种动作，其中L表示子网络拓扑模型深度，l表示当前状态所在层数；量化状态包含“0”和“1”两种动作，分别表示不采用INT8处理以及采用INT8处理。

4.如权利要求2所述的深度神经网络生成方法，其特征在于，所述子网络拓扑模型训练后所返回的直接奖励，是平均识别精度有限损失情况下，获得最优的子网络推理延迟，其计算方法为：

式中，LAT和T_FP32分别表示子网络拓扑模型平均延迟和相同拓扑模型下基于单精度浮点运算的平均延迟；ACC和ACC_FP32分别表示子网络拓扑模型平均识别精度和相同拓扑模型下基于单精度浮点运算的平均识别精度；β＞0，用于控制精度损失在奖励中的权重；α＞1，用于控制平均精度可允许损失范围。

5.如权利要求2所述的深度神经网络生成方法，其特征在于，所述循环神经网络由长短时记忆单元组成，所述长短时记忆单元的数量等于子网络拓扑模型深度的三倍。