[发明专利]利用硬件计算效率优化神经网络

说明书

在一个实施例中，一种方法包括接收对要执行的运算的请求；确定该运算与机器学习算法相关联，并且作为响应，将该运算路由到计算电路；在计算电路处执行运算，包括:基于与运算相关联的第一对数域数和第二对数域数的总和，确定第一对数域数和第二对数域数的线性域乘积，并输出近似第一对数域数和第二对数域数的线性域乘积的第三对数域数；将第三对数域数转换成第一线性域数；将第一线性域数和与运算相关联的第二线性域数求和，并输出第三线性域数作为求和结果。

技术领域

本公开总体涉及使用硬件计算效率来优化计算系统中的神经网络。

背景

机器学习探索从数据中学习的算法的设计。机器学习算法适应输入建立模型，然后可以用于新数据进行预测。机器学习与统计学、人工智能和优化有着密切的联系，并且经常被用在难以制定明确的基于规则的算法的任务中。人工神经网络是能够进行机器学习的计算工具。在下文中称为神经网络的人工神经网络中，被称为“神经元”的互连计算单元被允许适应训练数据，并且随后一起工作以在某种程度上类似于生物神经网络中的处理的模型中产生预测。神经网络可以包括一组层，第一层是被配置为接收输入的输入层。输入层包括连接到第二层中所包括的神经元的神经元，第二层可以被称为隐藏层。隐藏层的神经元可以连接到另一个隐藏层或输出层。在一些神经网络中，一层中的每个神经元都与下一层中的每个神经元相连。这种神经网络被称为完全连接网络。训练数据用于让每个连接承担表征连接强度的权重。一些神经网络包括完全连接的层和不完全连接的层。卷积神经网络中的完全连接层可以称为密集连接层。在一些神经网络中，信号严格地以一条路径从输入层传播到输出层，这意味着不存在向输入层反向传播的连接。这种神经网络被称为前馈神经网络。如果确实存在向输入层反向传播的连接，则所讨论的神经网络可以被称为循环神经网络。

特定实施例的概述

本公开讨论了一种能够促进计算运算(包括精确的对数线性乘加(ELMA)计算运算)的执行的计算设备。在高级别上，由计算设备执行ELMA计算运算可以使用数学转换来执行更快的硬件计算，而不使用硬件乘法器。例如，考虑由计算设备执行计算功能c+ab。在一些示例中，计算设备可以将二进制数表示a和b转换成对数数字表示(以二进制表示)，而不是由计算设备使用二进制数表示来执行乘法运算。在一些示例中，计算设备可以接收对数数字表示a和b。然后，计算设备可以对对数数字表示执行额外的计算(例如，对数数字表示线性域中值的某个固定基数的指数)，以生成对数数字表示乘积，在计算设备的硬件中实现该乘积在计算上成本较低。计算设备可以将对数数字表示乘积近似为线性域表示乘积。计算设备然后可以执行附加操作来将线性数字表示c添加到线性域表示乘积ab。计算设备可以通过使用累加器(例如，Kulisch累加器)将线性数字表示c加到线性表示乘积ab来执行附加计算。

本说明书中描述的主题的创新方面可以体现在一种系统中，该系统包括处理器，该处理器被配置为接收对要执行的运算的请求，确定该运算与机器学习算法相关联，并且作为响应，将该运算路由到被配置为执行该运算的计算电路，其中该计算电路包括:对数乘法计算模块，该对数乘法计算模块被配置为将第三对数域数(log-domain number)确定为与该运算相关联的第一对数域数和第二对数域数的线性域乘积，其中该确定基于第一对数域数和第二对数域数的总和；转换计算模块，其被配置为将第三对数域数转换成近似于第三对数域数的第一线性域数(linear-domain number)；以及求和计算模块，其被配置为生成求和结果，作为第一线性域数和与运算相关联的第二线性域数的总和。

这些方面的其他实施例包括相应的方法、装置和计算机程序，其被配置为执行编码在计算机存储设备上的方法的动作。

这些和其他实施例可以各自可选地包括一个或更多个以下特征。例如，转换计算模块还被配置为接收第三线性域数，将第三线性域数转换为第四对数域数，并输出第四对数域数。转换计算模块还被配置为:识别存储对数域数和近似的线性数之间的对应关系的查找表(LUT)；以及基于LUT识别对应于第三对数域数的第一线性域数。求和模块包括Kulisch累加器。求和模块包括浮点累加器。