[发明专利]一种神经网络卷积的方法和设备

说明书

本发明提供了一种神经网络卷积的方法和设备，该方法包括以下步骤：判断待输入图片的参数是否满足Tensorcore计算的矩阵形状；响应于图片的参数满足Tensorcore计算的矩阵形状，进行二维卷积的操作符的定义；根据操作符的定义的规则进行满足Tensorcore计算的调度的设计；将累加器进行初始化，并将输入图片加载到共享内存中；执行调度以得到卷积计算的结果。通过使用本发明的方案，能够解决TVM中不支持NHWC的数据分布问题，使用Tensorcore实现过程卷积的计算性能提升是TVM目前Direct计算方法的2倍以上，可以在AI图像识别网络模型的训练和推理过程中实现较为优异的计算性能。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种神经网络卷积的方法和设备。

背景技术

随着互联网、大数据、云计算等技术的快速发展，人工智能(ArtificialIntelligence，简称AI)发展突飞猛进，在语音识别、图像识别、智能控制、复杂计算等各大领域涌现出一系列应用产品，同时也在各行各业得到的广泛的应用，而图像处理一直是人工智能领域的研究热点，比如汽车自动驾驶，通过实时的路况图像信息采集以及处理，可以直接控制汽车在路上的行驶行为；在人脸识别方面，通过对比信息库中数据，可以对人脸图像的面部特征进行识别从而辨认身份，而这在社会安防方面已经发挥了重要的作用。

目前对人工智能图像识别与分类方面的研究主要有两方面，一方面是如何能够提高图像识别过程中的准确率，相关学者提出了各种卷积神经网络，比如Resnet50卷积神经网络模型，通过引入残差结构大大提高图像识别的精度；另一方面是如何提高图像识别过程的速度，对于此相关研究人员在优化网络结构同时将不同的网络结构应用在不同的计算设备上，比如CPU、GPU等设备，GPU由于其特有的高并行、高带宽等优势，在图像识别的推理与训练提速方面发挥了重要的作用，而在Nvidia公司推出GPU上通过CUDA(ComputeUnified Device Architecture，一种计算架构)中实现的Tensorcore(CUDA中一种矩阵乘计算方法)技术后，相比较不使用Tensorcore，对训练过程的处理速度可以提高三倍以上，因此通过Tensorcore技术实现性能优异卷积神经网络的相关算法程序可以大大提高图像识别与分类的速度。

TVM(AI编译器)是目前一项开源项目，主要作用于人工智能深度学习系统的编译器堆栈，TVM堆栈的目标在于提供一个可重复使用的工具链来将高级神经网络描述从深度学习框架前端向下编译为多硬件后端的低级机器代码，简单说就是可以让使用人员可以最大程度上实现对所使用设备的高效利用的程序。目前TVM仅支持关于GPU上CUDA的普通编程，但是不支持CUDA编程中的Tensorcore卷积实现方式，因此如何将Tensorcore的卷积实现算法加入到TVM中是迫切需要解决的事情。

目前的TVM中二维卷积实现方法存在以下两个问题，第一个问题是目前的卷积计算方法仅支持NCHW(数量，通道，高，宽)的数据分布，而对于目前深度学习网络中常用的NHWC数据分布方式未提供相关算法，另一个问题是目前针对二维卷积实现的算法运算速度较慢，不支持具有较高计算性能的Tensorcore计算方式。

发明内容

有鉴于此，本发明实施例的目的在于提出一种神经网络卷积的方法和设备，通过使用本发明的方法，能够解决TVM中不支持NHWC的数据分布问题，使用Tensorcore实现过程卷积的计算性能提升是TVM目前Direct计算方法的2倍以上，可以在AI图像识别网络模型的训练和推理过程中实现较为优异的计算性能。

基于上述目的，本发明的实施例的一个方面提供了一种神经网络卷积的方法，包括以下步骤：

判断待输入图片的参数是否满足Tensorcore计算的矩阵形状；

响应于图片的参数满足Tensorcore计算的矩阵形状，进行二维卷积的操作符的定义；

根据操作符的定义的规则进行满足Tensorcore计算的调度的设计；