[发明专利]使用共享指数的块浮点计算

说明书

用于神经网络中的块浮点计算的系统接收多个浮点数。针对多个浮点数中的每个浮点数的指数部分的指数值被标识，并且浮点数的尾数部分被分组。分组的尾数部分的共享指数值根据所标识的指数值被选择，并且然后该共享指数值从分组的尾数部分中被去除，以定义多层共享指数块浮点数。对多层共享指数块浮点数的分组的尾数部分执行一个或多个点积运算，以获得单独结果。单独结果被移位以生成最终的点积值，该最终的点积值被用来实现神经网络。共享指数块浮点计算减少了处理时间，系统准确度降低较少。

背景技术

块浮点数字格式允许独立地缩放动态范围和精度。通过降低精度，可以提高处理器(诸如硬件加速器)的系统性能。然而，降低的精度可能影响系统准确度。例如，块浮点数值格式可以被用在神经网络中，神经网络可以被实现在许多应用领域中，以用于诸如计算机视觉、机器人技术、语音识别、医学图像处理、计算机游戏、增强现实、虚拟现实等任务。虽然降低的精度可以提高神经网络不同功能的性能(包括可以以其执行的用于对象识别、唇读、语音识别、检测异常交易、文本预测和许多其他功能的分类和回归任务的速度)，但网络准确度可能被不利地影响。

发明内容

提供本发明内容以简化形式介绍一些概念，这些概念将在下面的具体实施方式中被进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

一种用于神经网络中的块浮点计算的计算机化的方法，包括：接收多个浮点数，每个浮点数包括尾数部分和指数部分；以及将多个浮点数转换为多个多层共享指数块浮点数，该多个多层共享指数块浮点数具有针对多个分组的尾数(grouped mantissa)中的每个分组的尾数的至少一个全局共享指数和一个附加指数。方法还包括使用多个多层共享指数块浮点数来执行一个或多个点积运算，以及使用执行一个或多个点积运算的结果来实现神经网络。

通过参考以下结合附图考虑的详细描述，将更容易地理解许多附带特征，因为它们将变得更好理解。

附图说明

根据以下结合附图阅读的详细描述，本描述将被更好地理解，其中：

图1是图示根据一个实施例的块浮点格式的示例性框图；

图2图示了根据一个实施例的具有共享指数的浮点运算；

图3是图示根据一个实施例的数据处理系统的示例性框图。

图4是根据一个实施例的神经网络系统的示例性示意框图。

图5图示了根据一个实施例的矩阵共享配置；

图6是图示根据一个实施例的多层共享指数块浮点计算的示例性框图。

图7是图示根据各种实施例的用于执行多层共享指数块浮点计算的计算设备的操作的示例性流程图；

图8是图示根据各种实施例的用于执行共享指数块浮点计算的计算设备的操作的另一个示例性流程图；以及

图9作为功能框图图示了根据一个实施例的计算装置。

贯穿附图，对应的附图标记指示对应的部分。在附图中，系统被图示为示意图。附图可以未按比例绘制。

具体实施方式

本文描述的计算设备和方法被配置成使用多层共享指数来执行块浮点计算。例如，具有在全局水平和更细粒度水平(或更细粒度)都具有共享指数的尾数的子向量分量被聚类，从而允许利用整数执行计算。在一些示例中，块浮点指数的更细粒度允许所表达的值的极大的有效精度。结果，减轻了计算负担，同时改进了总体准确度。