[发明专利]针对神经网络训练调整激活压缩

说明书

公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，特别是用于调整被用来在训练期间存储激活值的浮点格式的装置和方法。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的浮点压缩器。计算系统被配置为产生包括以第一浮点格式表达的激活值的神经网络，基于性能度量选择针对神经网络的第二浮点格式，将激活值中的至少一个激活值转换为第二浮点格式，以及将经压缩的激活值存储在存储器中。可以被调整的第二浮点格式的各方面包括被用来表达尾数的位数、指数格式、非均匀尾数的使用和/或被用来表达尾数中的一些尾数的离群值的使用。

背景技术

机器学习(ML)和人工智能(AI)技术对于解决许多复杂的计算问题，诸如识别图像和语音、分析和分类信息、以及执行各种分类任务可能是有用的。机器学习是计算机科学的一个领域，它使用统计技术来使计算机系统能够从训练数据集合中提取更高级别的特征。具体来说，可以通过训练诸如人工神经网络(NN)或深度神经网络(DNN)的模型来提取特征。模型经过训练之后，新数据可以被应用于模型，并且可以使用经训练的模型对新数据进行分类(例如，可以提取更高级别的特征)。机器学习模型通常在通用处理器(也被称为中央处理单元(CPU))上被执行。然而，训练模型和/或使用模型在计算上可能是昂贵的，并且因此可能无法使用通用处理器实时地使用此类技术。因此，有大量机会改进计算机硬件和软件以实现神经网络。

发明内容

公开了用于以压缩格式存储来自神经网络的激活值，以在神经网络的前向和反向传播训练期间使用的装置和方法。适合采用这种神经网络的计算系统包括具有通用处理器、神经网络加速器或可重构逻辑设备(诸如现场可编程门阵列(FPGA))的计算机。前向传播期间生成的激活值可以以压缩格式被“隐藏”(临时存储在大容量存储器中)，并且可被检索以用于在反向传播期间使用。训练期间使用的激活值可以以正常精度、或者量化或块浮点格式(BFP)来表达。经消减的激活值可以以比训练期间使用的格式进一步压缩的格式来表达。在一些示例中，压缩格式包括用于经压缩值的有损或非均匀尾数。在一些示例中，压缩格式包括存储针对一些但不是所有尾数值的离群值。随着训练的进行，例如通过增加被用来存储激活值的压缩格式的精度，可以调整压缩格式的参数。

在所公开技术的一些示例中，计算机系统包括通用和/或专用神经网络处理器、包括计算机可读存储设备或存储器的大容量存储器、以及与大容量存储器通信的浮点压缩器。由于在神经网络训练期间发生前向传播，激活值以第一块浮点格式而被产生。块浮点被用来将激活值转换为数值精度小于第一块浮点格式精度的数字格式。经压缩的激活值被存储在大容量存储器中，以用于在反向传播期间使用。

本发明内容被提供来以简化的形式介绍以下在详细描述中进一步描述的概念的选择。本发明内容并不旨在标识要求保护的主题的关键特征或必要特征，也不旨在被用来限制要求保护的主题的范围。从以下参照附图进行的详细描述中，所公开主题的前述和其他目的、特征和优点将变得更加明显。

附图说明

图1是用于执行激活压缩的启用量化的系统的框图，如可以在所公开技术的某些示例中实现的那样。

图2是描绘深度神经网络的示例的图，如可以使用本文所公开的某些示例方法和装置建模的那样。

图3是描绘将正常浮点格式转换为量化浮点格式的某些方面的图，如可以在所公开技术的某些示例中执行的那样。

图4描绘了可以被用来表示量化神经网络模型的多个示例块浮点格式，如可以在所公开技术的某些示例中使用的那样。

图5描绘了可以被用来表示量化神经网络模型的多个示例块浮点格式，如可以在所公开技术的某些示例中使用的那样。

图6是描绘训练用于与量化模型一起使用的神经网络的示例方法的流程图，如可以在所公开技术的某些示例中实现的那样。

图7是描绘用于实现激活压缩的示例环境的框图，如可以在所公开技术的某些示例中实现的那样。