[发明专利]随机舍入逻辑

说明书

提供了用于随机舍入的技术和电路。在实施方案中，一种电路包括进位保留加法器(CSA)逻辑，其具有三个或更多个CSA输入、CSA和输出以及CSA进位输出。所述三个或更多个CSA输入中的一个是以随机数值呈现，而其他CSA输入是以待求和的输入值呈现。所述电路还包括具有加法器输入以及和输出的加法器逻辑。所述CSA逻辑的所述CSA进位输出与所述加法器逻辑的所述加法器输入中的一个耦合，并且所述CSA逻辑的所述CSA和输出与所述加法器逻辑的所述加法器输入的另一输入耦合。所述加法器逻辑的所述和输出的特定数目的最高有效位表示所述输入值的随机舍入和。

背景技术

在本节中描述的方法是可采用的方法，但不一定是先前已经构想或采用的方法。因此，除非另外指明，否则不应假设本节中描述的任何方法仅仅因为它们包含在本节中而被认为是现有技术。

随着人工智能的发展，机器学习技术已进入众多种应用。训练机器学习模型通常是资源非常密集的，并且因此通常需要专用计算机系统来执行。然而，随着机器学习应用的扩展，越来越需要在不牺牲准确度的情况下在共享计算资源环境中执行机器学习模型的训练。

为了改善性能，精度降低的数值表示可用于训练机器学习模型。例如，神经网络中的权重可具有精度降低的格式，并且因此需要较少的计算资源用于处理。然而，一些运算仍然可(虽然是暂时地)产生较宽精度的数值表示。

将较宽精度的数值表示降低回为精度降低的数值表示的一种方式是简单地截断较宽精度的数值表示。额外位的截断实现起来很简单(且通常是默认的)，但是通过在一个方向上系统地偏置值(诸如权重)，可能导致训练误差/较低的准确度。

为了在不牺牲准确度的情况下利用精度降低的数值表示，执行随机舍入而不是简单的截断。较宽精度的数值表示的随机舍入避免了引入偏差，因此改善了所得机器学习模型的准确度。例如，在较宽精度的十进制上的随机舍入以与将从较宽精度十进制中丢弃的最低有效十进制成比例的概率向上或向下舍入该值。因此，37.25的值将以25％的概率向上舍入至38，并且以75％的概率向下舍入至37。

一种用于实现随机舍入的方法是通过执行产生舍入结果的多个指令。软件程序可包含一个或多个用于随机舍入的适当命令，在此类程序的编译期间，该命令将产生待由硬件处理器执行的多个指令。多个指令在被处理时会产生高开销：多个处理器周期、潜在的多个存储器查找和流水线停顿等等。

附图说明

图1是描绘在实施方案中用于利用随机舍入进行求和的示例电路的框图。

图2是描绘在实施方案中进位保留加法器(CSA)逻辑部件的示例电路的框图。

图3是描绘在实施方案中用于累加输入数流并且随机地舍入此类累加的电路的框图。

图4是描绘在实施方案中用于对多个输入数流求和并且随机地舍入此类求和的电路的框图。

图5是描绘在实施方案中基于和的符号随机舍入该和的电路的框图。

图6是描绘在实施方案中用于有符号求和的随机舍入的示例电路的框图。

图7是描绘在实施方案中用于随机地舍入两个或更多个数的和的过程的流程图。

图8是描绘在实施方案中用于随机地舍入两个或更多个数的有符号和的过程的流程图。

具体实施方式

在以下描述中，为了解释的目的，陈述了许多具体细节，以便提供对本发明的透彻理解。然而，将明显的是，可在没有这些特定细节的情况下实践本发明。在其他情况下，以框图形式示出了熟知的结构和装置，以避免不必要地混淆本发明。

总体概述

为了实现更大的代码密度、更高的性能、更高的处理器利用和更低的功率，本文描述了各种电路和技术以执行随机舍入。在实施方案中，生成随机数，并且将其与两个或更多个数的求和相加，以生成两个或更多个数的随机舍入和。