[发明专利]一种数据处理方法、装置及其设备

说明书

本申请提供一种数据处理方法、装置及其设备，该方法包括：针对具有多行多列的输入数据集合，在获取到输入数据集合中的目标行的目标数据后，为所述目标数据生成子数据集合；确定与所述目标数据对应的第一存储位置，并根据所述第一存储位置将所述目标数据对应的子数据集合存储到第一存储介质中；确定输出数据集合中的起始数据对应的第二存储位置，根据所述第二存储位置从所述第一存储介质中读取所述起始数据对应的子数据集合；根据所述起始数据对应的子数据集合获取输出数据集合。通过本申请的技术方案，避免数据读操作的频繁执行，节约了带宽，使读写效率显著增加。

技术领域

本申请涉及互联网领域，尤其是一种数据处理方法、装置及其设备。

背景技术

在机器学习技术中，CNN(Convolutional Neural Network，卷积神经网络)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理具有出色表现。CNN是一个多层的神经网络，每层由多个二维平面组成，每个平面由多个独立的神经元组成。一般地，CNN可以由卷积层和池化层组成，卷积层的作用是提取图像的各种特征，池化层的作用是对原始特征进行两次特征提取，以减小特征分辨率，大幅度减少训练参数，并减轻模型过拟合的程度。此外，CNN以其局部权值共享的特殊结构，降低网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点，避免了特征提取和分类过程中数据重建的复杂度，因而，CNN得到了广泛的应用。

在CNN的相关运算中，为了提升计算效率，可以进行Im2col(image to columntransform，图像转列向量变换)操作。例如，将输入图像转化为图像矩阵(如3*3的矩阵)，然后将图像矩阵与filter矩阵(过滤矩阵)进行乘加运算。例如，针对大小为100*200的输入图像，可以从输入图像中获取3*3的子图像，然后将这个3*3的子图像转换为3*3的图像矩阵。但是，在传统方式中，为了从输入图像中获取3*3的子图像，存在读写效率低，处理性能低等问题。

例如，针对大小为100*200的输入图像，是按照行存储到缓冲区中，如先存储第1行的100个像素点的像素值，然后存储第2行的100个像素点的像素值，以此类推。基于此，为了获取3*3的子图像，需要从缓冲区中读取300个像素点的像素值，即连续3行的所有数据。然后，从300个像素点的像素值中选择9个像素点的像素值，用这9个像素点的像素值得到3*3的子图像。

综上所述，为得到3*3的子图像，需要从缓冲区中读取大量数据，数据读操作非常频繁，浪费了带宽。需要频繁的跨行操作，使读写效率显著降低。

发明内容

本申请提供一种数据处理方法，所述方法包括：

针对具有多行多列的输入数据集合，在获取到所述输入数据集合中的目标行的目标数据后，为所述目标数据生成子数据集合；其中，所述子数据集合包括所述目标数据、与所述目标数据对应的至少一个关联数据；

确定与所述目标数据对应的第一存储位置，并根据所述第一存储位置将所述目标数据对应的子数据集合存储到第一存储介质中；

确定输出数据集合中的起始数据对应的第二存储位置，根据所述第二存储位置从所述第一存储介质中读取所述起始数据对应的子数据集合；

根据所述起始数据对应的子数据集合获取输出数据集合。

本申请提供一种数据处理方法，所述方法包括：

针对具有多行多列的输入数据集合，在获取到所述输入数据集合中的目标行的目标数据后，为所述目标数据生成子数据集合；其中，所述子数据集合包括所述目标数据、与所述目标数据对应的至少一个关联数据；

确定与所述目标数据对应的第一存储位置，并根据所述第一存储位置将所述目标数据对应的子数据集合存储到第一存储介质中；

其中，所述第一存储介质中的数据用于生成输出数据集合。