[发明专利]具有非均匀尾数的神经网络激活压缩

说明书

公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，并且特别是用于以具有有损或非均匀尾数的压缩格式存储来自神经网络的激活值，以用于在神经网络的前向和后向传播训练期间使用。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的压缩器。计算系统被配置为针对神经网络的层执行前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值由压缩器转换为具有非均匀和/或有损尾数的第二块浮点格式。压缩的激活值被存储在存储器中，在存储器中该压缩的激活值可以被取回以用于在后向传播期间使用。

背景技术

机器学习(ML)和人工智能(AI)技术可以被用于解决许多复杂的计算问题，诸如识别图像和语音、分析和分类信息、以及执行各种分类任务。机器学习是计算机科学的一个领域，它使用统计技术来使计算机系统能够从训练数据集合中提取更高级别的特征。具体来说，可以通过训练诸如人工神经网络(NN)或深度神经网络(DNN)之类的模型来提取特征。模型经过训练之后，新数据可以被应用于模型，并且可以使用经训练的模型对新数据进行分类(例如，可以提取更高级别的特征)。机器学习模型通常在通用处理器(也被称为中央处理单元(CPU))上被执行。然而，训练模型和/或使用模型在计算上可能是昂贵的，并且因此可能无法使用通用处理器实时地执行特征提取。因此，有大量机会改进计算机硬件和软件以实现神经网络。

发明内容

公开了用于以压缩格式存储来自神经网络的激活值以用于在神经网络的前向和后向传播训练期间使用的装置和方法。适合采用这种神经网络的计算系统包括具有通用处理器、神经网络加速器或可重构逻辑设备(诸如现场可编程门阵列(FPGA))的计算机。前向传播期间生成的激活值可以以压缩格式“隐藏”(临时存储在大容量存储器中)，并且被取回以用于在后向传播期间使用。训练期间使用的激活值可以用量化或块浮点格式(BFP)来表达。所存储的激活值可以是比训练期间使用的格式进一步压缩的格式。在一些示例中，压缩格式包括用于压缩值的有损或非均匀尾数。

在所公开技术的一些示例中，计算机系统包括通用和/或专用神经网络处理器、包括计算机可读存储设备或存储器的大容量存储器、以及与大容量存储器通信的块浮点压缩器。由于在神经网络训练期间发生前向传播，激活值以第一块浮点格式而被产生。块浮点被用来将激活值转换为数值精度小于第一块浮点格式精度的数字格式。压缩的激活值被存储在大容量存储器中，以用于在后向传播期间使用。

本发明内容被提供来以简化的形式介绍以下在详细描述中进一步描述的概念的选择。本发明内容并不旨在标识要求保护的主题的关键特征或必要特征，也不旨在被用来限制要求保护的主题的范围。从以下参照附图进行的详细描述中，所公开主题的前述和其他目的、特征和优点将变得更加明显。

附图说明

图1是用于执行激活压缩的启用量化的系统的框图，如可以在所公开技术的某些示例中实现的那样。

图2是描绘深度神经网络的示例的图，如可以使用本文所公开的某些示例方法和装置建模的那样。

图3是描绘将正常浮点格式转换为量化浮点格式的某些方面的图，如可以在所公开技术的某些示例中执行的那样。

图4描绘了可以被用来表示量化神经网络模型的多个示例块浮点格式，如可以在所公开技术的某些示例中使用的那样。

图5描绘了可以被用来表示量化神经网络模型的多个示例块浮点格式，如可以在所公开技术的某些示例中使用的那样。

图6是描绘训练与量化模型一起使用的神经网络的示例方法的流程图，如可以在所公开技术的某些示例中实现的那样。

图7是描绘用于实现具有非均匀尾数浮点格式的激活压缩的示例环境的框图，如可以在所公开技术的某些示例中实现的那样。

图8是描绘具有非均匀尾数浮点格式的激活压缩的示例的框图，如可以在所公开技术的某些示例中实现的那样。