[发明专利]降低神经网络CPU峰值利用率的方法、装置、设备和介质

说明书

本发明公开了一种降低神经网络CPU峰值利用率的方法、装置、设备和介质，涉及计算机技术领域，包括：判断特征向量序列的类型，若为关键帧，则将其输入至神经网络，将神经网络前向计算的运算过程按照第一预设比例分配给关键帧，获得神经网络的中间隐藏层的输出；若为过渡帧，则将第一中间隐藏层的输出作为后续中间隐藏层的输入，将神经网络前向计算的运算过程按照第二预设比例分配给所述过渡帧，以获得后续中间隐藏层的输出；重复上述过程，直至得到神经网络最终输出结果；重复上述步骤，直至所有的特征向量序列处理完毕。本发明降低了神经网络计算中的CPU峰值计算量，从而降低了神经网络的CPU峰值利用率和峰值功耗。

技术领域

本发明涉及计算机技术领域，特别涉及一种降低神经网络CPU峰值利用率的方法、装置、设备和介质。

背景技术

近年来，随着计算机硬件的不断提升以及算法的不断完善，神经网络在模式识别领域，例如，语音识别、语音唤醒、人脸识别、机器翻译等领域，取得了重大的突破。一般而言，神经网络的性能会随着训练数据量和参数规模的增大而不断提高。但是，对于嵌入式系统，例如智能硬件，由于其内存和计算能力均有限，神经网络的参数规模常常会限制在一定的范围之内，以保证神经网络运行时的CPU利用率是可控的，以保证整个系统的稳定性。

CPU利用率可分为两种，一种是CPU平均使用率，即在一定时间范围内的CPU使用量除以时间长度，另一种是CPU峰值使用率，即在一定时间范围内的CPU最大的使用率。现有技术中，降低神经网络的功耗大致分为两种，一种是神经网络自身的，例如可通过减少神经网络的参数量、利用平台的加速指令优化计算等方式来实现；另一种是利用神经网络输入是连续的这一特性，可以只计算关键帧，而过渡帧可以直接使用关键帧的神经网络输出，这样过渡帧不进行神经网络计算从而降低了CPU的平均利用率，例如在先申请CN108764469A公开的跳帧机制就是降低的CPU的平均利用率。

然而，上述在先申请并未降低CPU峰值使用率，CPU峰值使用率对系统的稳定性至关重要，如果控制的不好，可能会造成系统其他模块的卡顿甚至崩溃。

发明内容

鉴于现有技术中的上述缺陷或不足，本发明提供了一种降低神经网络CPU峰值利用率的方法、装置、设备和介质，通过将关键帧的神经网络前向计算过程，按照一定比例分配给过渡帧，这样整个神经网络的计算不再集中在关键帧上，而是按照一定比例分布在关键帧和过渡帧中，降低了神经网络计算中的CPU峰值计算量，从而降低了神经网络的CPU峰值利用率和峰值功耗，提高了整个系统的稳定性。同时在相同的系统算力下，提高了神经网络的参数量，从而提高了系统性能。

本发明的一个方面，提供了一种降低神经网络CPU峰值利用率的方法，包括如下步骤：

判断步骤，根据待输入至神经网络中的特征向量序列的输入顺序，判断该特征向量序列的类型，所述特征向量序列的类型包括关键帧和过渡帧；

关键帧处理步骤，若待输入至神经网络中的特征向量序列为关键帧，则将该关键帧输入至神经网络，将神经网络前向计算的运算过程按照第一预设比例分配给所述关键帧，从而获得神经网络的第一中间隐藏层的输出；

过渡帧处理步骤，若待输入至神经网络中的特征向量序列为所述关键帧之后的过渡帧，则将所述第一中间隐藏层的输出作为后续中间隐藏层的输入，将神经网络前向计算的运算过程按照第二预设比例分配给所述过渡帧，以获得所述后续中间隐藏层的输出；重复上述过程，直至所述过渡帧的计算过程包含神经网络输出层，得到神经网络最终输出结果；

重复所述关键帧处理步骤和过渡帧处理步骤，直至所有的特征向量序列处理完毕。

进一步的，所述第一预设比例和所述第二预设比例根据神经网络前向计算的运算量平均分配。

进一步的，将输入层到隐藏层的运算分配给所述关键帧，将隐藏层到输出层的运算分配给所述过渡层。