[发明专利]一种面向监控视频流场景的神经网络模型推理加速方法

说明书

本发明公开了一种面向监控视频流场景的神经网络模型推理加速方法，以神经网络层级为单位，按照神经网络推理计算方向进行分割，将原先的神经网络模型分割成多个模块，前一个模块的输出作为后一个模块的输入，分割后的多个模块之间利用多进程技术并行处理，即一个模块对应一个进程；神经网络各个模块之间按照多进程方式并行独立计算输入数据，模块进程之间数据传输通过消息队列方式进行。本发明涉及神经网络模型技术领域，具体提供了一种面向监控视频流场景的神经网络模型推理加速方法，该方法从神经网络的前馈特征和层级级联特性出发，利用多进程技术提升神经网络推理计算时的运行速度。

技术领域

本发明涉及神经网络模型技术领域，具体为一种面向监控视频流场景的神经网络模型推理加速方法。

背景技术

随着神经网络的不断发展演进，凭借其强大的拟合学习能力在计算机视觉领域取得了优秀的成绩，并且在多项任务中超越了人类水平。同时，物联网时代的到来也使得网络摄像头应用得到了普及。网络摄像头以视频流形式对外提供数据信息，数据较密集程度较高。因此，对于处理视频流的神经网络模型实时性要求较高。神经网络模型提升准确率主要是通过优化内部结构、增加网络层级数量等方式来实现。然而，随着网络层级的加深也极大地增加了神经网络推理延时，这对于时间敏感型项目是难以接受的。

针对该问题，现有的工作主要从提升神经网络算子运算效率和模型压缩两个方面进行优化。在算子运算效率方面，英特尔和一些科研机构分别针对神经网络计算中广泛涉及到的线性代数运算提出自己的计算库MKL和OpenBLAS，通过降低矩阵乘法、求逆、奇异值计算等高级线性代数运算计算复杂度的方式提升神经网络计算效率。

在模型压缩方面，模型压缩方式大致分为模型量化、剪枝、蒸馏三种方式。模型量化主要通过将神经网络计算常用的浮点32位变量按照一定规则压缩至浮点16位或者整数型，但是得益于浮点32位矩阵运算优化方案较为成熟，模型量化后往往只能压缩模型体积并不能有效提升模型运算速度。模型剪枝是希望通过将原有神经网络结构进行稀疏化的方式降低计算时间，但是受限于稀疏矩阵运算的效率，此方案目前并不能减少模型运行时间。模型蒸馏则是通过将训练好的教师模型(大模型)的知识迁移到学生模型(小模型)上，以此达到降低神经网络模型计算量和计算时间的目的。但是，蒸馏后的模型准确率和计算速度与模型蒸馏算法相关，且不同的教师模型蒸馏可能会对应于不同的模型蒸馏算法。因此，模型蒸馏的压缩方式无法被广泛推广。

因此，现有的神经网络模型推理加速方法仍存在较大局限性，无法满足监控视频流场景实时检测运行需求，故本发明提供了一种面向监控视频流场景的神经网络模型推理加速方法。

发明内容

针对上述情况，为弥补上述现有缺陷，本发明提供了一种面向监控视频流场景的神经网络模型推理加速方法，该方法从神经网络的前馈特征和层级级联特性出发，利用多进程技术提升神经网络推理计算时的运行速度。

本发明提供如下的技术方案：本发明一种面向监控视频流场景的神经网络模型推理加速方法，具体包括下列步骤：

步骤一、以神经网络层级为单位，按照神经网络推理计算方向进行分割，将原先的神经网络模型分割成多个模块，前一个模块的输出作为后一个模块的输入，分割后的多个模块之间利用多进程技术并行处理，即一个模块对应一个进程；

步骤二、读取监控摄像头视频流，根据帧率解码成帧图像作为模型输入数据；

步骤三、神经网络各个模块之间按照多进程方式并行独立计算输入数据，模块进程之间数据传输通过消息队列方式进行，前一个模块(Modulepre)将输出结果传入到消息队列(Queue)，后一个模块(Modulenext)从消息队列(Queue)中取数作为该模块的输入数据，以此方式实现神经网络模型的前馈全流程计算。