[发明专利]用于生成不动点神经网络的方法和装置

说明书

提供了用于生成不动点神经网络的方法和装置。该方法包括：选择神经网络的至少一个层作为对象层，其中神经网络包括多个层，多个层中的每一层对应于多个量化参数中的相应的一个量化参数；形成候选参数集，该候选参数集包括关于与对象层相对应的多个量化参数的量化参数的候选参数值；基于神经网络的网络性能水平从候选参数值当中确定更新参数值，其中网络性能水平中的每一个对应于候选参数值中的相应的一个候选参数值；以及基于更新参数值更新关于对象层的量化参数。

相关申请的交叉引用

本申请要求于2017年12月8日在韩国知识产权局提交的韩国专利申请第10-2017-0168477号的优先权，其公开内容通过引用全部并入本文中。

技术领域

与示例实施例一致的方法和装置涉及神经网络，并且更具体地，涉及用于生成不动点神经网络的方法和装置。

背景技术

神经网络指的是模仿动物大脑中的生物网络的计算机架构。随着神经网络技术发展，对各种电子系统进行了积极的研究，这些系统被配置为使用基于神经网络来操作的神经网络装置来分析输入数据并提取有效信息。

神经网络装置需要处理关于复杂输入数据的大量操作。为了使神经网络装置实时分析输入数据并提取信息，需要一种用于有效地处理神经网络的操作的技术。特别地，诸如智能手机的、具有低功耗和高性能的系统具有有限的资源，因此需要一种减少用于处理复杂的输入数据所需要的操作的数量并且使人工神经网络的性能最大化的技术。

发明内容

本申请提供了通过与浮点神经网络相对应的不动点神经网络来最大化神经网络的目标性能的方法和装置。

根据示例实施例的一方面，提供了生成神经网络系统的不动点神经网络的方法，该方法包括：选择神经网络的至少一个层作为对象层，其中神经网络包括多个层，多个层中的每一层与多个量化参数中的相应的一个量化参数相对应；形成候选参数集，该候选参数集包括关于与对象层相对应的多个量化参数的量化参数的候选参数值；基于神经网络的网络性能水平从候选参数值当中确定更新参数值，其中网络性能水平中的每一个对应于候选参数值中的相应的一个候选参数值；以及基于更新参数值更新关于对象层的量化参数。

根据另一示例实施例的一方面，提供了用于生成不动点神经网络的装置，该装置包括：存储器；以及处理器，其被配置为执行存储在存储器中的指令以生成不动点神经网络，选择第一不动点神经网络的多个层中的一个作为对象层，并且通过基于不动点神经网络的网络性能更新对象层的量化参数来生成第二不动点神经网络。

根据又一示例实施例的一方面，提供了一种生成神经网络系统的不动点神经网络的方法，该方法包括：从第一不动点神经网络的多个层当中选择至少一个层作为对象层；基于关于对象层的量化参数设置的参数值生成候选参数值；确定网络性能水平，其中网络性能水平中的每一个分别对应于候选参数值中的相应的一个候选参数值；并且基于多个候选参数值的候选参数值来更新量化参数，候选参数值对应于最高网络性能水平。

附图说明

根据以下结合附图的详细描述，将更清楚地理解示例实施例，在附图中：

图1是根据示例实施例的神经网络系统的框图；

图2示出了根据示例实施例的应用于神经网络系统的神经网络结构的示例；

图3是根据示例实施例的生成不动点神经网络的方法的流程图；

图4是根据示例实施例的确定图3的更新参数值的操作的流程图；

图5是用于描述根据示例实施例的导出与候选参数值中的每一个相对应的网络性能水平的方法的视图；

图6是根据示例实施例的生成不动点神经网络的方法的流程图；

图7是根据示例实施例的生成图6的不动点神经网络的方法的流程图；