[发明专利]一种面向物料识别的神经网络推理加速方法

说明书

本发明公开了一种面向物料识别的神经网络推理加速方法，解决了边缘端网络推理延迟严重的问题。首先，本发明创造性的运用余弦距离来判定量化前后的网络特征分布差异，从而确定不同层对量化到低比特的敏感性；运用混合精度量化将网络中对量化敏感的层量化到更高的比特。其次，针对物料识别网络划分方法受网络带宽影响较大的问题，本发明在传统的模型划分算法中加入正则化项，优先选取更低比特量化层作为划分点，降低推理受网络带宽的影响。最后，本发明面向混合精度量化和网络划分协同设计中，混合精度和划分点选取搜索空间大的问题，基于贪婪算法先根据网络精度要求确定混合精度量化方案，再选取总延时最少的划分点。

技术领域

本发明属于深度神经网络模型优化和推理加速领域，尤其涉及一种面向物料识别的神经网络推理加速方法。

背景技术

随着机器学习、深度学习的不断发展，深度神经网络(DNN)被广泛的运用在计算机视觉、自然语言处理和数据处理等各个方面。以生物质电厂物料识别为例，早期的处理方法通过运用图片处理与识别方法来提取物料特征进行分类。随着深度学习的不断发展，卷积神经网络(CNN)被广泛运用到图像分类领域，在生物质电厂的物料识别任务处理中也发挥着重要的作用。神经网络的运用包括训练(Training)和推理(Inference)两方面内容。神经网络训练通过给网络输入有监督数据来使网络学习到数据中的特征，主要包括前向推理和反向传播两个阶段，在前向推理中学习特征，并经过反向传播计算梯度更新网络参数，从而保证网络的精度。因此，神经网络训练过程属于计算密集型任务，对硬件设备具有很高的要求，通常在云端服务器上进行，并消耗较长的时间和资源。神经网络推理是对训练完的神经网络的运用，与训练过程不同，神经网络推理只包含前向推理过程，对网络输入数据，并根据训练后网络的参数进行推理从而得到最终结果。因此推理过程包含的计算量较低，可以在计算能力有限的设备上进行。

早期的神经网络的训练和推理过程都在云服务器上进行，云计算得到迅速的发展，终端设备将输入数据传输到云上进行计算，推理完成后再将计算结果返回给终端设备；但是这种基于云的方式会给网络带宽带来压力，当数据量较大时，计算延迟也会随之增加，同时终端数据的隐私也不能得到保护。边缘计算的出现很好的解决了这种问题，将输入数据在靠近源头的边缘端进行处理，在降低带宽压力的同时也很好地保护了数据的隐私。本发明基于边缘计算，运用卷积神经网络在边缘端进行物料识别推理。

然而，目前大部分神经网络都属于计算密集型任务，同时边缘端设备的计算和存储能力通常有限，在边缘端设备上进行物料识别推理速度较慢，会具有较大计算延迟。现有的降低神经网络推理延迟的方法包括网络量化和模型划分等。网络量化通过将网络权重从32位浮点数量化到低比特的定点数来降低模型大小，从而减少计算时从存储器存取数据的带宽延时。模型划分是一种云边协同推理的方法，通过将网络中计算密集的层传输到计算性能更强的云设备上从而加速神经网络推理。

虽然网络量化能降低计算时延、加速边缘端推理，但低比特量化会使网络推理精度下降，降低物料识别推理准确率。同时，模型划分依赖数据的传输，因此这种方法受网络带宽的影响较大，当网络带宽堵塞时，不仅不会加速推理，还会使网络的推理延迟更长。本发明深入分析这两种方法的缺点，并提出相应的方法对这两种技术中存在的问题进行优化。

发明内容

本发明的目的在于针对现有技术的不足，提出一种面向物料识别的神经网络推理加速方法，解决了边缘端网络推理延迟严重的问题。

首先，本发明创造性的运用余弦距离来判定量化前后的物料识别网络特征分布差异，从而确定该网络中不同层对量化到低比特的敏感性；进而运用混合精度量化将网络中对量化敏感的层量化到更高的比特，对量化不敏感的层保持低比特量化，从而在达到推理加速的前提下，大幅提高物料识别的准确率。