[发明专利]用于神经网络量化的方法和装置

说明书

根据用于神经网络量化的方法和装置，通过以下方式来生成经量化的神经网络：执行神经网络的学习；针对第一神经网络的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；分析每一层的权重差的统计量；基于经分析的统计量，从各层中确定要以较低比特精度来量化的一个或多个层；以及通过以较低比特精度量化所确定的一个或多个层来生成第二神经网络。

相关申请的交叉引用

本申请要求于2019年1月9日在韩国知识产权局提交的韩国专利申请No.10-2019-0002986的优先权，该申请的公开内容通过引用全部并入本文中。

技术领域

本公开涉及用于将神经网络的一些被选择层的精度调整到较低比特的方法和装置。

背景技术

神经网络指的是在经过大量训练之后可以在输入模式与输出模式之间提供计算上直观的映射的计算架构。用于处理神经网络的装置对复杂输入执行大量运算，这使得该装置难以使用神经网络实时地分析大量的输入数据并提取期望信息。

发明内容

提供了本发明内容以简化形式来介绍对下面在具体实施方式中进一步描述的理念的选择。本发明内容不意在识别所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总体方面，提供了一种用于神经网络量化的方法，该方法包括：对具有第一比特精度的第一神经网络执行多个周期的前馈和反向传播学习；针对第一神经网络的每一层，获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差；分析每一层的权重差的统计量；基于经分析的统计量，从各层中确定要以低于第一比特精度的第二比特精度来量化的一个或多个层；以及通过以第二比特精度量化所确定的一个或多个层来生成第二神经网络。

统计量可以包括每一层的权重差的均方。

该方法可以包括：按照经分析的统计量的大小对各层进行排序，其中，对要量化的一个或多个层的确定包括从经排序的层中识别具有相对小的经分析的统计量的大小的层。

对要量化的一个或多个层的确定可以包括：当以第二比特精度来量化经排序的各层中的一些层时，响应于与第一神经网络相比，神经网络的准确度损失在阈值内，使用二分搜索算法来识别要量化的一个或多个层。

准确度损失可以包括神经网络的识别率。

对要量化的一个或多个层的确定可以包括：按照经分析的统计量的大小的升序，从经排序的各层中确定一定数量的层作为所述一个或多个层。

对要量化的一个或多个层的确定可以包括：不将经排序的各层中的具有最小的经分析的统计量的大小的层确定为要量化的一个或多个层。

第一神经网络可以具有第一比特精度的定点参数的层，并且第一神经网络是从具有第三比特精度的浮点参数的层的第三神经网络来量化的，其中，第三比特精度高于第一比特精度，并且经量化的第二神经网络可以包括具有第二比特精度的定点参数的所确定的一个或多个层和具有第一比特精度的定点参数的其他层。

该方法可以包括：响应于第一神经网络具有第一比特精度的浮点参数的层，将除了所述一个或多个层之外的层量化为第四比特精度的定点参数的层，其中，第四比特精度低于第一比特精度且高于第二比特精度，其中，经量化的第二神经网络可以包括具有第二比特精度的定点参数的所确定的一个或多个层以及具有第四比特精度的定点参数的层。

在另一个一般方面，提供了一种用于神经网络量化的装置，该装置包括处理器，该处理器被配置为：对具有第一比特精度的第一神经网络执行多个周期的前馈和反向传播学习；获得第一神经网络的层中的每一层的初始权重与通过每个周期的学习所确定的经更新的权重之间的权重差；分析每一层的权重差的统计量；基于经分析的统计量，从各层中确定要以低于第一比特精度的第二比特精度来量化的一个或多个层；以及通过以第二比特精度量化所确定的一个或多个层来生成第二神经网络。