[发明专利]数据处理方法及数据处理装置

说明书

本申请公开了一种数据处理方法及数据处理装置。该方法包括：从数据端口接收到卷积神经网络模型组件；所述对所述卷积神经网络模型组件的多个第一类顶点进行裁剪，以压缩所述卷积神经网络模型组件；输出压缩后的所述卷积神经网络模型组件。本发明实施例提出的数据处理方法和装置，能够实现相关的第一类顶点同时保留或者同时裁剪的效果，从而实现更高的网络压缩率和实际计算加速比。

技术领域

本申请涉及计算机信息处理领域，特别是涉及一种数据处理方法及数据处理装置。

背景技术

卷积神经网络已广泛应用多个机器学习场景，而近年来由于神经网络结构在往更深和更宽的角度进行发展，因此一个卷积神经网络在应用于一个实际场景时往往需要比较大的推理时间，即基于训练好的网络模型对测试数据进行计算和预测的计算推理的时间。这对于对响应延迟比较敏感的线上服务而言是不可容忍的。

为了实现卷积神经网络推理加速，业内提出了网络剪枝(pruning)方案。网络剪枝的基本思想是将神经网络模型中不重要的权重剪切掉，以缩小神经网络模型的大小，提高神经网络模型计算的速度。剪枝的基本方法是训练网络来获知哪些网络连接是重要连接，哪些不是重要连接，即设置一个权重的临界值，对于权重小于临界值的连接则认为是不重要的，应当剪切掉。针对剪切后的神经网络模型，再次进行训练，调整剪切剩下的参数，多次剪切和训练之后，得到参数最少的神经网络模型。

但是，现有的网络剪枝方案中，在剪枝之后会改变卷积神经网络的拓扑结构，还需要对剪枝后的网络进行后续处理操作.

图1A所示为一种卷积神经网络模型DenseNet的基于通道剪枝的方案，图1B所示为一种卷积神经网络模型DenseNet的基于1剪枝的方案。图1A和图1B中，标号11代表传递数组，即该卷积神经网络的上一级数据来源；标号12代表卷积核顶点，标号13代表批标准化顶点。在该卷积神经网络DenseNet中，如图1A所示，基于通道的剪枝方案，卷积核顶点12都被保留，一些批标准化顶点13被剪枝。在剪枝后，需要在后续的每一层之前加一个选择层14，对所需的通道数据进行选择。如图1B所示，基于顶点的剪枝方案中，一些卷积核顶点12被剪掉，一些批标准化顶点13被保留，但是如果卷积核顶点12被剪掉，则会影响批标准化顶点13，例如方框中的两个批标准化顶点13由于前序的卷积核顶点13被剪掉而没有意义，在后续仍然需要利用选择层14对所需的通道数据进行选择。

图2A所示为一种卷积神经网络模型ResNet的基于通道剪枝的方案，图2B所示为一种卷积神经网络模型ResNet的基于顶点剪枝的方案。图2A和图2B中，标号11代表传递数组，即该卷积神经网络的上一级数据来源；标号12代表卷积顶点，标号13代表批标准化顶点。在该卷积神经网络ResNet中，如图2A所示，当批标准化顶点13被剪掉后，后续的相加顶点14的计算由于部分批标准化顶点13被剪掉而导致计算相加不准确；因此在ResNet的通道裁剪中，一般会放弃与“相加”顶点相连接的卷积顶点的裁剪。如图2B所示，在剪掉卷积核顶点12时，对应的批标准化顶点13和相加顶点14也被剪掉，但是进行后续传递时，由于部分相加顶点被剪掉，导致传递不准确。因此在基于顶点的剪枝中一般也会放弃与“相加”顶点相连接的卷积顶点的裁剪，处于顶点之间的关联，有相当一部分顶点和通道无法被剪除，导致网络的压缩比降低。并且可能引入额外的访存操作，会使得剪枝后的卷积神经网络的实际推理的性能提升不如预期。

除了网络剪枝方案以外，现有技术均是基于一种或多种硬件或某特定场景(如浏览器下)下推理计算的系统层优化。因此，业界均在寻找新的网络推理加速方案，以实现卷积神经网络的推理加速。

发明内容

鉴于上述问题，本发明一实施例提出一种数据处理方法及数据处理装置，以解决现有技术存在的问题。

为了解决上述问题，本申请一实施例公开一种数据处理方法，包括：

从数据端口接收到卷积神经网络模型组件；