[发明专利]用于神经网络实现的块浮点

说明书

公开了包括在神经网络的实现中的用于执行块浮点(BFP)运算的装置和方法。一个或多个矩阵或向量的全部或一部分可以共用一个或多个共同指数。公开了用于选择共用的共同指数的技术。在所公开的技术的一些示例中，方法包括：产生矩阵或向量的BFP表示，相应矩阵或向量的至少两个元素共用共同指数；在多个矩阵或向量中的两个或更多个矩阵或向量上执行数学运算；以及产生输出矩阵或向量。基于输出矩阵或向量，选择一个或多个经更新的共同指数，并且产生经更新的矩阵或向量，其具有共用经更新的共同指数的一些元素。

发明内容

公开了用于块浮点(BFP)实现的方法、装置和计算机可读存储设备，包括在人工神经网络(NN)中使用这种BFP实现。存储尾数值阵列的矩阵和向量可以共用针对两个或更多个元素的共同指数。例如，行中、列中或整个阵列中的所有元素可以具有不同的尾数并共用共同指数。在一些示例中，矩阵或向量的两个或更多个元素的指定组合和子组合可以共用共同指数。在一些示例中，矩阵或向量的两个或更多个元素的任意组合可以共用共同指数。在一些示例中，使用共同指数允许减少存储器使用、简化乘法器和其他浮点矩阵处理电路的硬件实现、减少能量和/或改进计算性能而几乎不损失或不损失精度。通过利用BFP表示执行数学运算而产生的输出矩阵和向量然后可以使用经更新的(多个)共同指数并使其尾数相应地移位。公开了用于选择经更新的共同指数的合适方法和装置的示例。

在所公开的技术的一些示例中，神经网络包括多个节点，这些节点具有相关联的值并且适于使用具有各自的尾数和一个或多个共用共同指数的BFP表示的运算来更新相关联的节点值的至少一部分。用于这种神经网络BFP实现的合适应用的示例包括但不限于：执行图像识别、执行语音识别、分类图像、将语音转换成文本和/或其他语言、面部或其他生物识别、自然语言处理、自动语言翻译、搜索引擎中的查询处理、自动内容选择、分析电子邮件和其他电子文档、关系管理、生物医学信息学、标识候选生物分子、提供推荐或其他分类任务。在所公开的技术的一些示例中，系统包括用于实现BFP神经网络的硬件。硬件可以包括但不限于通用处理器(包括实现向量指令集的处理器)、定制集成电路、专用集成电路(ASIC)、包括现场可编程门阵列(FPGA)的可编程逻辑器件、图形处理单元(GPU)、神经网络处理器和/或数字信号处理组件。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，本文所使用的任何商标均为其各自所有者的产权。从通过参考附图进行的以下详细描述中，所公开的实施例的前述和其他目的、特征和优点将变得更加明显。

附图说明

图1是概述可以在所公开的技术的某些示例中执行的用于矩阵×向量乘法的块浮点实现的示例数据流的框图。

图2是概述可以在所公开的技术的某些示例中实现的包括多个神经网络核的示例多处理器的框图。

图3A和图3B是概述可以在所公开的技术的某些示例中执行的在脉动阵列矩阵乘法运算期间执行的运算的图。

图4是描绘根据所公开的技术的某些示例的用于执行矩阵乘法的硬件的框图。

图5是概述可以在所公开的技术的某些示例中使用的示例数字信号处理块的框图。

图6是概述可以在所公开的技术的某些示例中使用的用于图像处理的深度神经网络的示例实现的框图。

图7是概述可以在所公开的技术的某些示例中使用的示例FPGA的框图。

图8是进一步详述可以在所公开的技术的某些示例中使用的FPGA内的逻辑组件的图。

图9是图示可以在所公开的技术的某些示例中实现的用Altera FPGA实现的信号处理器的实现的示意图。

图10是图示可以在所公开的技术的某些示例中实现的用Altera FPGA实现的信号处理器的示例实现的示意图。