[发明专利]量化神经网络训练与推理

说明书

本公开涉及量化神经网络训练与推理。用于处理神经网络的计算机实现的方法的一个实施例包括接收对应于多维输入张量的一部分并且已经基于第一比例因子量化的第一量化矩阵；以及使用所述第一量化矩阵和所述第一比例因子执行一个或更多个计算操作，以生成与多维输出张量的第一部分相对应的一个或更多个数据值。

相关申请的交叉引用

本申请要求于2021年8月27日提交的、序列号为63/238,036的美国临时专利申请的优先权，其标题为“TECHNIQUES FOR QUANTIZED FIXED-POINT TRAINING WITH FINE-GRAINED SCALING AND ADAPTIVE PRECISION”。该相关申请的主题通过引用并入本文。

技术领域

本公开的实施例总体上涉及计算机科学和人工智能，更具体地，涉及用于量化神经网络训练和推理的技术。

背景技术

深度神经网络通常包括许多计算量大的层，例如卷积层和/或全连接层。深度神经网络通常也使用全精度算法(例如，使用32位浮点数据)进行训练和部署。因此，执行深度神经网络可能涉及大量的计算复杂性、延迟和内存消耗。为了减少与深度神经网络相关的处理时间和内存占用，可以量化神经网络的权重和/或激活。例如，用于权重和/或激活的32位浮点数据值可以映射到16位浮点数据值或8位整数数据值，这减少了所述数据值的位宽。反过来，减小数据值的位宽可以降低训练和部署深度神经网络时所执行的不同计算(例如矩阵乘法运算)的复杂度，以及存储所述数据值所需的内存量。

通常，为了量化神经网络的权重和激活，将比例因子应用于表示权重的权重张量以及表示激活的激活张量。然而，由于相同的比例因子在给定张量的许多维度上共享，因此缩放张量中各个元素的精度降低，从而增加了量化引入的误差量，反过来降低了所述深度神经网络的整体准确度。

为了提高所述深度神经网络的准确性，可以将不同的比例因子应用于沿权重张量和/或激活张量的单个维度的不同向量。这样做将允许对不同的向量使用更合适的比例因子，这将减少量化引入的误差量，反过来提高深度神经网络的整体准确度。然而，与神经网络推理操作通常只涉及仅使用矩阵的计算不同，神经网络训练操作通常涉及使用矩阵以及转置矩阵两者的计算。值得注意的是，当一个矩阵被转置时，所述转置矩阵的每一列对应多个不同的比例因子。由于必须从内存中单独地读取所述多个不同比例因子中的每一个，因此涉及转置矩阵的计算会增加整体处理时间。例如，如果从内存中读取比例因子需要一个时钟周期，那么对于4x4转置矩阵，从内存中读取所述相关比例因子对于所述转置矩阵的每一列将需要四个时钟周期。因此，在训练深度神经网络时，沿权重张量和/或激活张量的单个维度应用不同的比例因子可以显著增加处理时间。

如前所述，本领域所需要的是用于为神经网络量化权重和激活的更有效的技术。

发明内容

本公开的一个实施例阐述了一种用于处理神经网络的计算机实现方法。该方法包括接收对应于多维输入张量的一部分并且已经基于第一比例因子量化的第一量化矩阵。该方法还包括使用所述第一量化矩阵和所述第一比例因子执行一个或更多个计算操作以生成与多维输出张量的第一部分相对应的一个或更多个数据值。

本公开的技术相对于现有技术的至少一个技术优势在于，利用所公开的技术，可以更有效地执行神经网络训练操作。在这方面，利用所公开的技术，不同的比例因子被应用于沿着张量的多个维度的不同子矩阵，而不是沿着该张量的单个维度的不同向量。因此，可以将相同的比例因子应用于矩阵内的子矩阵和所对应的转置矩阵内的所对应的子矩阵。因此，与现有技术方法相比，用转置矩阵执行计算使用更少的读取操作，从而减少训练神经网络时的处理时间。这些技术优势提供了对现有技术方法的一种或更多种技术改进。

附图说明