[发明专利]一种三维反卷积加速方法及三维反卷积硬件加速架构

说明书

本申请提供一种三维反卷积加速方法及三维反卷积硬件加速架构。所述方法包括：利用候选反卷积核的尺寸、预设的变换强度和反卷积步长预先确定候选输入块的尺寸、待运算数据块的尺寸以及输出数据块的尺寸后，分别利用对应的二维预设前处理矩阵和前处理转置矩阵对候选输入块和候选反卷积核进行变换，并将各自得到的前处理数据块进行逐元素相乘，得到待运算数据块，再利用二维预设后处理矩阵和后处理转置矩阵对待运算数据块进行变换，最终得到候选输入块所对应的输出数据块。整个方法利用反卷积计算前后数据之间的关联性，将常规三维反卷积的乘法累加操作转化为前后处理和逐元素乘法，可以减少乘法次数，降低计算复杂度，从而极大地提高了计算效率。

技术领域

本申请涉及数据处理技术领域，特别涉及一种三维反卷积加速方法及三维反卷积硬件加速架构。

背景技术

随着深度学习技术的发展，三维生成对抗网络(Three-dimensionalGenerativeAdversarial Networks，3D-GAN)被广泛应用于各种视觉任务，例如三维物体识别与重建、三维模型生成、医学图像分析、人体动作识别等。3D-GAN通常包含三维反卷积(3D-DeConv)的操作，3D-DeConv是3D-GAN的一种重要算子，主要是在三维原始输入特征图中先插入零点，得到补零后的三维输入特征图，再将三维反卷积核按照预设步长与补零后的三维输入特征图进行卷积，最终得到三维反卷积结果。因此，为了提高3D-GAN的整体计算效率，需要对3D-DeConv进行加速。

目前对3D-DeConv进行加速，可以采用将3D-DeConv所处理的三维数据块(包括三维反卷积核以及补零后的三维输入特征图)沿XZ平面切片为多个二维数据，其中，XZ平面为平行于预设坐标系的X轴和Z轴的平面，预设坐标系的X轴方向平行于三维数据块的第一维度方向，Z轴方向平行于三维数据块的第二维度方向，Y轴方向平行于三维数据块的第三维度方向，如此，通过切片将3D-DeConv转换为2D-DeConv(二维反卷积)，然后针对每个二维数据的反卷积进行加速计算，比如采用winogard快速卷积算法进行计算。

采用上述方法，主要是将3D-DeConv转换为2D-DeConv，然后利用2D-DeConv的加速方法进行加速运算，因此，不能充分挖掘三维数据块在新增的第三维度上的加速潜能，进而使得计算的加速比仍然较为受限，3D-DeConv的计算效率较低。

发明内容

本申请提供了一种三维反卷积加速方法及三维反卷积硬件加速架构，可用于解决现有加速方法计算效率较低的技术问题。

第一方面，本申请实施例提供一种三维反卷积加速方法，包括：

获取候选输入块和候选反卷积核，所述候选输入块是将任一输入通道的原始特征图以预设的变换强度为步长进行分块后得到的任一三维数据块，所述候选输入块的尺寸是根据所述候选反卷积核的尺寸、所述变换强度以及预设的反卷积步长预先设置的，所述候选反卷积核为待与所述原始特征图进行卷积的任一三维反卷积核；

针对目标数据块，利用所述目标数据块对应的二维预设前处理矩阵以及所述二维预设前处理矩阵的前处理转置矩阵，对所述目标数据块进行变换，得到第一中间数据块，所述目标数据块为所述候选输入块或者所述候选反卷积核；

以预设坐标系的Z轴为旋转轴，将所述第一中间数据块顺时针旋转90度，得到第二中间数据块，所述预设坐标系的X轴方向平行于所述目标数据块的第一维度方向，Z轴方向平行于所述目标数据块的第二维度方向，Y轴方向平行于所述目标数据块的第三维度方向；

利用所述前处理转置矩阵对所述第二中间数据块进行变换，得到所述目标数据块对应的前处理数据块，所述目标数据块对应的前处理数据块的尺寸是根据所述候选反卷积核的尺寸、所述变换强度以及所述反卷积步长预先设置的；

将所述候选输入块对应的前处理数据块，与所述候选反卷积核对应的前处理数据块进行逐元素相乘，得到待运算数据块；