[发明专利]用于学习低精度神经网络的方法及装置

说明书

本发明提供一种用于学习低精度神经网络的方法及装置。所述方法包括：选择神经网络模型，其中所述神经网络模型包括多个层，且所述多个层中的每一者包括权重及激活；通过将多个量化层插入到所述神经网络模型内来修改所述神经网络模型；将成本函数与经修改的所述神经网络模型进行关联，其中所述成本函数包括与第一正则化项对应的第一系数，且所述第一系数的初始值是预定义的；以及训练经修改的所述神经网络模型，以通过增大所述第一系数来产生层的量化权重，直到所有权重均被量化且所述第一系数满足预定义的阈值为止，还包括优化所述量化权重的权重缩放因数及优化量化激活的激活缩放因数，其中所述量化权重是使用经优化的所述权重缩放因数进行量化。

[相关申请的交叉参考]

本申请主张在2017年11月7日以及2017年11月8日在美国专利与商标局提出申请且被授予序列号62/582,848及62/583,390的美国临时专利申请的优先权、以及在2018年3月7日在美国专利与商标局提出申请且被授予序列号15/914,229的美国非临时专利申请的优先权，所述申请中的每一者的全部内容并入本申请供参考。

技术领域

本公开大体来说涉及神经网络，且更具体来说，涉及将权重量化与激活量化进行组合的用于学习低精度神经网络的方法及装置。

背景技术

深度神经网络近来在许多计算机视觉任务(例如，图像分类、对象检测、语义分割(semantic segmentation)及超分辨率(super resolution))中实现了主要的性能突破。最先进的神经网络的性能得益于非常深的及过度参数化的多层架构。目前，通常在多于一百个层中存在数百万或数千万个参数。然而，在大量层中增加网络参数的数目需要使用高性能矢量计算处理器，例如配备有大量存储器的图形处理单元(graphics processing unit，GPU)。此外，当对高分辨率图像及尺寸增大的视频进行处理时，对计算能力及存储器资源的需求迅速增长。

近来，深度神经网络的低精度实施方式受到极大的关注，特别是对于资源受限器件(例如，由电池供电的移动器件或便携式器件)上的深度神经网络的部署而言。在这种平台中，存储器及能力是有限的。此外，可能不支持基本浮点算术运算(floating-pointarithmetic operation)。低精度权重(例如，参数)及激活(例如，特征图)降低了计算成本并且降低了存储器要求。由此，当计算预算和电力预算有限时，低精度权重及激活是优选的，且有时需要以降低的功耗进行高效处理。通过使用较小位宽度的低精度权重及激活而不使用较大位宽度的全精度值也可减少存储器负担。

发明内容

根据一个实施例，一种用于学习低精度神经网络的方法包括：选择神经网络模型，其中所述神经网络模型包括多个层，且其中所述多个层中的每一者包括权重及激活；通过将多个量化层插入到所述神经网络模型内来修改所述神经网络模型；将成本函数与经修改的所述神经网络模型进行关联，其中所述成本函数包括与第一正则化项对应的第一系数，且其中所述第一系数的初始值是预定义的；以及训练经修改的所述神经网络模型，以通过增大所述第一系数来产生层的量化权重，直到所有权重均被量化且所述第一系数满足预定义的阈值为止，还包括优化所述量化权重的权重缩放因数以及优化量化激活的激活缩放因数，且其中所述量化权重是使用经优化的所述权重缩放因数进行量化。

根据一个实施例，一种用于学习低精度神经网络的装置包括：选择器，被配置成选择神经网络模型，其中所述神经网络模型包括多个层，且其中所述多个层中的每一者包括权重及激活；插入器件，被配置成通过将多个量化层插入到所述神经网络模型内来修改所述神经网络模型；关联器件，被配置成将成本函数与经修改的所述神经网络模型进行关联，其中所述成本函数包括与第一正则化项对应的第一系数，且其中所述第一系数的初始值是预定义的；以及训练器件，被配置成训练经修改的所述神经网络模型，以通过增大所述第一系数来产生层的量化权重，直到所有权重均被量化且所述第一系数满足预定义的阈值为止，且优化所述量化权重的权重缩放因数以及优化量化激活的激活缩放因数，其中所述量化权重是使用经优化的所述权重缩放因数进行量化。