[发明专利]数据处理的方法、装置和系统

说明书

本发明实施例公开了一种数据处理的方法、装置和系统，该方法包括：获取输入数据；获取第一卷积层的卷积运算特性，该第一卷积层为神经网络模型中的任一卷积层，该神经网络模型包括至少一个卷积层，该卷积运算特性包括以下参数中的至少一种参数：卷积核的尺寸、卷积核的移动步进、输入通道的数目以及处理器的并行粒度；根据该卷积运算特性，从该输入数据中获取与该处理器的并行粒度相等数量的多个数据块，该多个数据块中的每个数据块用于与卷积核进行卷积处理；将该多个数据块并行地进行卷积处理，以获取输出数据。本发明实施例的方法、装置和系统，能够根据不同卷积层的卷积运算特性，自适应选择最佳并行操作，从而提高卷积运算的并行度。

技术领域

本发明涉及卷积神经网络(Convolution Neural Network，CNN)，尤其涉及CNN中的数据处理的方法、装置和系统。

背景技术

卷积神经网络是深度学习中使用最广泛的算法，它广泛应用于图像分类、语音识别、视频理解、人脸检测等多种应用中。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。

当前，卷积神经网络的并行加速成为学术界和工业界的研究热点，常见的方法有在不同层级对多通道卷积运算进行并行化，如batch级并行、通道内并行。现有方法存在的主要问题为：CNN网络中所有的卷积层均采用相同的并行方法，效率低下。

发明内容

有鉴于此，本发明实施例提供了一种数据处理的方法、装置和系统，能够根据不同卷积层的卷积运算特性，自适应选择最佳并行操作，从而提高卷积运算的并行度。

第一方面，提供了一种数据处理的方法，该方法包括：获取输入数据，所述输入数据为以下数据中的至少一种数据：图像数据、视频数据和语音数据；获取第一卷积层的卷积运算特性，所述第一卷积层为神经网络模型中的任一卷积层，所述神经网络模型包括至少一个卷积层，所述卷积运算特性包括以下参数中的至少一种参数：卷积核的尺寸、卷积核的移动步进、输入通道的数目以及处理器的并行粒度；根据所述卷积运算特性，从所述输入数据中获取与所述处理器的并行粒度相等数量的多个数据块，所述多个数据块中的每个数据块用于与卷积核进行卷积处理；将所述多个数据块并行地进行卷积处理，以获取输出数据。

根据卷积运算特性，自适应选择最佳并行方法，从而提高卷积运算并行度。

可选地，该输入数据可以是图像处理、语音识别、视频理解、人脸检测中的任一项数据。

可选地，处理器的并行粒度(Parallelism Size，PS)可以是指共享局部存储器的同类运算单元的数量。

在一种可能的实现方式中，所述卷积运算特性包括所述卷积核的移动步进，所述根据所述卷积运算特性，从所述输入数据中获取与所述处理器的并行粒度相等数量的多个数据块，包括：根据所述移动步进是否等于1，从所述输入数据中获取所述多个数据块。

在一种可能的实现方式中，所述根据所述移动步进是否等于1，从所述输入数据中获取与所述处理器的并行粒度相等数量的多个数据块，包括：在所述移动步进等于1时，从所述第一卷积层的任一输入通道的数据中获取所述多个数据块，所述第一卷积层的任一输入通道的数据属于所述输入数据，所述多个数据块中的第i个数据块与所述多个数据块中的第(i+1)个数据块具有(K-1)个向量重叠，i为正整数，K为所述卷积核的尺寸，K为大于1的正整数；所述将所述多个数据块并行地进行卷积处理，以获取输出数据，包括：将所述多个数据块与所述第一卷积层的任一卷积核并行地进行卷积处理，以获取输出数据。

相邻两个卷积运算的数据块具有重叠，能充分利用数据局部性，减少数据传输。