[发明专利]针对分辨率降低的神经网络的优化量化

说明书

用于生成和使用神经网络的定点操作的系统和方法包括：使用缩放因子将浮点加权因子转换为定点加权因子。将缩放因子定义成使成本函数最小化，并且缩放因子是从预定基数的倍数集合中导出的。将可能的缩放函数的集合定义成减少用于针对多个可能的缩放因子中的每一个评估成本函数的计算量。该系统和方法可以在被编程为执行逻辑的一个或多个控制器中实现。

技术领域

本申请一般涉及使用定点值计算的神经网络。

背景技术

近年来，通过使用深度学习方法，在计算机视觉和语音处理/识别领域中，实现了大多数基于机器学习的突破。使用这些基于深度学习的分类器对输入数据进行分类的任务已得到广泛研究，并且被用于许多不同的应用。基于该应用，分类所需的神经网络可能非常庞大，其中具有数千万个变量。这样的大型网络需要大量的计算和数据存储资源，因此具有很高的能量/功率占位面积。由于较高的资源需求，许多深度学习任务主要在云中完成（大多数计算是在GPU或诸如神经网络加速器之类的特殊硬件上实行的）。由于计算和功率的约束，在许多情况下，深度学习网络无法部署在资源受约束的环境中。最新趋势是将应用领域从成像器和电话扩展到其他种类的传感器（例如，惯性传感器）。由于电池寿命的限制，这些传感器可以成为没有永久云连接的可穿戴设备的一部分——所谓的边缘计算。因此，需要用于边缘设备上的局部分类的新颖概念。

发明内容

一种用于将神经网络的浮点加权因子转换为定点加权因子的方法包括：选择预定数量的候选缩放因子，其是预定基数的倍数。该方法包括：在成本函数中评估每一个候选缩放因子。该方法包括：作为候选缩放因子中导致成本函数的最小值的一个来选择缩放因子。该方法包括：通过使用缩放因子缩放浮点加权因子来生成定点加权因子。该方法包括：使用定点加权因子来操作神经网络。

预定基数可以是二。该方法可以进一步包括：响应于完成神经网络的训练阶段，将定点加权因子提供给推理阶段。预定数量的候选缩放因子可以包括更大数量的候选（candidates），该候选具有的值超过浮点加权因子的绝对值的平均值。预定数量的候选缩放因子可以包括仅一个小于浮点加权因子的绝对值的平均值的候选。成本函数可以是浮点加权因子与候选缩放因子和对应的定点加权因子的乘积之间的均方误差。该方法可以进一步包括：在预定数量的训练间隔之后的神经网络的训练阶段期间更新缩放因子。

机器学习系统包括：控制器，该控制器被编程为使用缩放因子将神经网络的浮点加权因子转换为定点加权因子，该缩放因子是预定基数b的倍数，并且使成本函数最小化，该成本函数是浮点加权因子与候选缩放因子和对应的定点加权因子的乘积之间的均方误差（a mean square error），并且在训练阶段期间的预定数量的迭代之后，改变缩放因子。

控制器可以进一步被编程为使用定点操作来实现神经网络。候选缩放因子可以包括分别具有指数L和L-1的第一和第二候选值，使得浮点加权因子的绝对值的平均值在b^L与b^L-1之间。控制器可以进一步被编程为利用候选缩放因子来评估成本函数，该候选缩放因子是预定基数的从b^L-1到b^L+4的倍数。控制器可以进一步被编程为针对第一数量的候选缩放因子并且针对第二数量的候选缩放因子来评估成本函数，该第一数量的候选缩放因子大于浮点加权因子的绝对值的平均值，该第二数量的候选缩放因子小于平均值，第一数量大于第二数量。控制器可以被进一步编程为在完成训练阶段之后，将定点加权因子提供给被配置成实现神经网络的推理阶段。预定基数b可以是二。控制器可以被进一步编程为定义包括多于一个节点的层的缩放因子。