[发明专利]基于定点运算的神经网络

说明书

本公开的实现提出了一种用于训练卷积神经网络的方案。在该方案中，利用定点格式来存储神经网络的参数，例如，权重和偏置。定点格式的参数具有预定义的位宽并且可以存储在专用处理设备的存储单元中。专用处理设备在执行方案时，接收对卷积层的输入，并且从存储单元读取卷积层的参数。专用处理设备可以基于卷积层的输入和所读取的参数来计算卷积层的输出。以这种方式，可以降低对专用处理设备的存储空间以及计算资源的要求。

背景技术

神经网络在机器视觉、自然语言处理和语音识别等环境中具有非常广泛和深入的应用。卷积神经网络是一种特殊类型的神经网络，其包含大量的学习参数。大部分卷积神经网络需要大量的时间来进行训练，即使将卷积神经网络部署在一个或多个快速且耗能的图形处理单元(GPU)上。已经提出了用于提高神经网络计算速度的各种方案。但是，现有的方案在存储消耗和/或计算复杂性方面仍然存在亟待改进之处。

发明内容

根据本公开的实现，提出了一种用于训练神经网络的方案。在该方案中，利用定点格式来存储神经网络的参数，例如，权重和偏置。这些参数也称为原始(primal)参数，在每次迭代中进行更新。定点格式的参数具有预定义的位宽并且可以存储在专用处理设备的存储单元中。专用处理设备在执行方案时，接收对神经网络层的输入，并且从存储单元读取该层的参数。专用处理设备可以基于层的输入和所读取的参数来计算层的输出。以这种方式，可以降低对专用处理设备的存储空间和计算资源的要求。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示意性示出了能够实施本公开的多个实现的计算环境的框图；

图2示意性示出了根据本公开的一个实现的神经网络的框图；

图3示意性示出了根据本公开的一个实现的神经网络的卷积层的正向传播的内部架构；

图4示意性示出了根据本公开的一个实现的神经网络的层的反向传播的内部架构；

图5示意性示出了根据本公开的一个实现的用于训练神经网络的方法的流程图；

图6示意性示出了根据本公开的一个实现的用于训练神经网络的设备的框图；

图7示意性示出了根据本公开的一个实现的神经网络的正向传播的框图；以及

图8示意性示出了根据本公开的一个实现的神经网络的反向传播的框图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。