[发明专利]一种多维数据扩充传输的方法、装置以及系统

说明书

本发明提供了一种多维数据扩充传输的方法、装置以及系统，其中，于数据传输前需要确定对数据集的每一维度的扩充区域的位置、扩充区域的大小和扩充区域填充的数值，并根据上述设定构建多个控制寄存器，在从主机的存储区向片上存储传输数据时，可以同时将数据集扩充为程序员设定的格式，无需在片上或者在主机端对数据进行拷贝，既能够节约memory的空间，也可以减少传输的时间。

技术领域

本发明涉及数据扩充领域，具体而言，涉及一种多维数据扩充传输的方法、装置以及系统。

背景技术

目前，深度学习、人工智能以及大数据应用等领域中，处理多维矩阵或图像的应用越来越多。在处理过程中，可能需要对数据集进行一些扩充处理，例如以下两种情况：

(1)输入数据集不规则，需要补全的情况。例如，在调用openBLAS库的GEMM时，该函数是将矩阵切割成固定大小的块后进行加速，如果输入矩阵的行和列无法对应地整除加速块的行和列，即无法全部切分成需要的固定大小的块，这时就需要对矩阵进行填充。

(2)在输入集的边界处理时，需要在超出输入集边界的地方取0或MAX，或者某个特定数的情况。例如，sift的卷积过程中，为了防止图片卷积后出现黑边，需要在边界处理时改变卷积核的大小，或者是不改变卷积核而是将图片的边界扩大，即超出部分采用输入集的边界值。

面对上述两种情况时，目前比较常用处理方式有两种，其中一种是在程序中写分支语句，当超出输入数据集的大小时，采取对应的方式进行解决；另一种是将数据集进行读取，改变其结构后，再存入memory中。

但在目前很多片上结构、加速器中，上述方法不能很好的解决问题。在很多的加速器上，每个PE较为简单，可能只由几个计算部件组成，无法支持分支指令；而片上存储是有限的，如果在片上展开矩阵，那么片上存储的利用率会降低，而且增加了很多读写操作，加速器的效率也会降低。而在主机端对数据展开的话，加速器需要等待主机将数据集展开，传输到片上后再进行处理，这样会增加等待时间，并且增加了传输的数据集的量，传输速度会进一步受到memory的带宽影响。

综上可知，从主机向片上存储比较小的片上系统或加速器传输一些不规则的数据集或者是需要对边界进行处理的数据集时，片上的计算单元无法使用分支指令，且在片上进行数据扩充会占用比较大的片上存储，而在主机端进行数据扩充会增加传输的数据量和传输时间。

发明内容

本发明提供一种多维数据扩充传输的方法、装置以及系统，用以通过硬件的方式于主机端向片上传输数据的同时将数据集进行扩充。

为达到上述目的，本发明提供了一种多维数据扩充传输的方法，该方法用于将一数据集从一主机传输至一片上系统或加速器中，并于传输的同时对该数据集进行扩充，当该多维数据为二维数据时，其包括以下步骤：

S1：确定需要传输的数据集A的行数row0、列数col0和首地址a0，其中，数据集A位于一主机的存储区；

S2：确定对数据集A的每一维度的扩充区域的位置、扩充区域的大小和扩充区域填充的数值，其中，二维扩充区域为2D former和2D latter，一维扩充区域为1D former和1Dlatter，2D former和2D latter之间为数据集A的二维区域2D middle，1D former和1Dlatter为数据集A的一维区域1D middle；

S3：根据S2的结果确定扩充后的数据集B的行数row1、列数col1以及接收数据的首地址a1，其中，数据集B位于一片上系统或加速器的存储区，接收数据的首地址a1即为数据集B的首地址，并且数据集B的2D former、2D latter、1D former、1D latter、2D middle和1D middle所在的区域与数据集A中的相应区域对应；