[发明专利]用于量化神经网络的系统和方法以及识别系统和方法

说明书

提供用于量化神经网络的系统和方法以及识别系统和方法。一种量化预训练的神经网络的系统和方法包括通过层/通道位宽确定器针对预训练的神经网络的每个层或通道，针对预定的主位宽值的集合中的每个主位宽值，确定层或通道的最小量化噪声；以及通过位宽选择器为层或通道选择具有层或通道的最小量化噪声的主位宽值。在一个示例实施例中，层或通道的最小量化噪声基于乘以“常数的当前主位宽值的负幂”的层或通道的权重的范围的平方。

本申请要求于2018年9月24日提交的第62/735,839号美国临时申请以及于2018年11月5日提交的第16/181,326号美国申请的优先权，所述申请的公开通过整体引用包含于此。

技术领域

在此公开的主题涉及神经网络。更具体地，在此公开的主题涉及可用于为深度神经网络的权重和/或激活选择最佳的逐层或逐通道的位宽量化值提供指导的量化技术。

背景技术

近来，神经网络(例如，深度神经网络(DNN))广泛用于处理数据(例如，诸如图像数据、语音数据、文本数据等的多媒体数据)。然而，目前DNN处理数据的精度相对较低，同时对计算资源的需求也较大，无法满足用户日益增长的需求。

尤其，预训练的深度神经网络(DNN)的权重和/或激活的量化提供了在资源受限装置(例如，但不限于智能电话)中运行DNN的方式。典型的方法已经是针对权重和/或激活将相同的位宽量化值分配给每个层或每个通道，而不考虑每个层或每个通道的权重和/或激活对DNN的总体精度起到不同的贡献作用的事实。

发明内容

一个示例实施例提供了一种量化预训练的神经网络的系统，所述系统可包括范围确定器、平方器、乘法器以及比较器。范围确定器可确定预训练的神经网络的选择的层或通道的权重的范围。平方器可对选择的层或通道的权重范围进行平方。乘法器可将选择的层或通道的权重的范围的平方乘以常数的从主位宽值的集合选择的当前主位宽值的负幂。比较器可比较针对选择的层或通道从主位宽值的集合选择的每个当前主位宽值的乘法器的输出，并可为选择的层或通道选择与从乘法器输出的最小值对应的主位宽值。在一个实施例中，常数可以是4。在另一个实施例中，主位宽值的集合可包括包含4和10在内的4与10之间的值。在又一个实施例中，每个层或通道的权重范围还可包括预训练的神经网络的每个层或通道的权重和激活的范围。

一个示例实施例提供了一种量化预训练的神经网络的系统，所述系统可包括范围确定器、第一乘法器、第二乘法器以及位宽选择器。范围确定器可确定预训练的神经网络的选择的层或通道的权重的范围。第一乘法器可对选择的层或通道的权重的范围进行平方。第二乘法器可将选择的层或通道的权重的范围的平方乘以常数的从主位宽值的集合选择的当前主位宽值的负幂。位宽选择器可为选择的层或选择的通道选择与从第二乘法器输出的最小值对应的主位宽值。在一个实施例中，所述系统还可包括：控制器，可控制范围确定器、第一乘法器、第二乘法器和位宽选择器，来为预训练的神经网络的每个层或通道选择位宽。

一个示例实施例提供了一种量化预训练的神经网络的方法，其中，所述方法可包括：通过层/通道位宽确定器针对预训练的神经网络的每个层或通道，针对预定的主位宽值的集合中的每个主位宽值，确定层或通道的最小量化噪声；以及通过位宽选择器为层或通道选择具有层或通道的最小量化噪声的主位宽值。在一个实施例中，层或通道的最小量化噪声基于乘以“常数的当前主位宽值的负幂”的层或通道的权重的范围的平方。在另一个实施例中，常数可以是4。在又一个实施例中，主位宽值的集合包括包含4和10在内的4与10之间的值。

附图说明

在以下部分中，将参照附图中示出的示例性实施例来描述在此公开的主题的方面，其中：

图1描绘了根据在此公开的主题的用于量化预训练的DNN的“一次性位确定”技术或方法的示例实施例；

图2描绘了根据在此公开的主题的一次性位确定系统的示例实施例的功能框图；