[发明专利]一种在TVM中实现TensorCore卷积计算的方法及系统

说明书

本申请公开了一种在TVM中实现TensorCore卷积计算的方法及系统，该方法包括：获取TensorCore卷积输入数据和卷积核的数据布局；判断该数据布局是否满足：内部矩阵M、N、K维度上的大小是(16，16，16)，(8，32，16)或者(32，8，16)的倍数；如果是，判断输入数据的数据类型是否一致且均为int8或uint8；如果是，定义Tensorcore int8的卷积计算规则；执行调度优化设计；根据调度优化设计的结果，进行int8的TensorCore卷积计算。该系统包括：数据布局获取模块、第一判断模块、第二判断模块、int8卷积计算规则定义模块、float16卷积计算规则定义模块、设计模块和计算模块。通过本申请，能够卷积加速比达到1.5‑2左右，从而在AI图像识别网络模型的训练和推理过程中提高卷积计算性能。

技术领域

本申请涉及技术领域，特别是涉及一种在TVM(深度学习编译器)中实现TensorCore(CUDA中的一种矩阵乘计算方法)卷积计算的方法及系统。

背景技术

随着人工智能在语音识别、图像识别、智能控制以及复杂计算等领域的迅速发展，相应地，人工智能在算法、算力以及算料方面取得了巨大的进步。尤其在图像识别领域，在卷积神经网络中利用TensorCore技术，能够有效提高图像处理速度。而TVM是一种AI编译软件，主要作用于人工智能深度学习系统的编译器堆栈。其针对不同的深度学习框架和硬件平台实现了统一的软件栈，以尽可能高效的方式，将不同框架下的深度学习模型部署到硬件平台上。因此，如何在TVM中实现TensorCore卷积计算，是个重要的技术问题。

目前在TVM中实现TensorCore卷积计算的方法，通常是对输入精度为float16(浮点数据类型16位)的数据进行计算，也就是目前TVM仅支持GPU上CUDA(Compute UnifiedDevice Architecture，是一种计算架构)的float16精度的TensorCore卷积计算。具体地，TVM中卷积的数据类型为flaot16，data的数据布局为(N,H,W,IC)，weight的数据布局为(kh,kw,IC,OC)，经过卷积计算后图像尺寸为(N,H,W,OC)，按照卷积的计算规则进行转换，其中外层循环为(H,W,N,OC)，内层循环为(kh,kw,IC)，在TVM的schedule中将卷积过程变为矩阵乘形式为[H,W,kh*kw*(N，IC)x(IC，OC)]，将data和weight重新进行数据划分，以匹配Tensorcore矩阵计算。

然而，目前在TVM中实现TensorCore卷积计算的方法中，由于float16精度的数据类型的神经网络的推理性能较低，计算速度较低，导致目前的卷积计算性能较低。

发明内容

本申请提供了一种在TVM中实现TensorCore卷积计算的方法及系统，以解决现有技术中在TVM中实现卷积计算的方法使得卷积计算性能较低的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种在TVM中实现TensorCore卷积计算的方法，所述方法包括：

本申请的实施例提供的技术方案可以包括以下有益效果：

一种在TVM中实现TensorCore卷积计算的方法，所述方法包括：

获取TensorCore卷积输入数据的数据布局和卷积核的数据布局；

判断所述输入数据的数据布局和卷积核的数据布局是否满足：内部矩阵M、N、K维度上的大小是(16，16，16)，(8，32，16)或者(32，8，16)的倍数；

如果是，判断所述输入数据的数据类型是否一致，且均为int8(整数类型8位)或uint8；

如果输入数据与卷积核的数据类型一致，且均为int8或uint8，定义Tensorcoreint8的卷积计算规则；