[发明专利]人工神经网络及其中控制定点的方法

说明书

提供了人工神经网络(ANN)系统和ANN系统中控制定点格式的方法。ANN系统包括处理器、虚拟溢出检测电路和数据格式控制器。处理器针对ANN的每层中包括的多个节点执行节点操作，以获得节点操作的多个结果值，并且基于用于每层的当前量化的第k个定点格式对所获得的多个结果值执行量化操作，以获得多个量化值。虚拟溢出检测电路生成对所获得的多个量化值的有效位数的分布加以指示的虚拟溢出信息。数据格式控制器基于所生成的虚拟溢出信息确定用于每层的后续量化的第(k+1)个定点格式。通过使用虚拟溢出控制定点格式，有效地防止溢出和/或下溢。

相关申请的交叉参考

本申请要求于2018年9月3日在韩国知识产权局(KIPO)提交的韩国专利申请No.10-2018-0104403的优先权，其公开内容通过引用其全部内容结合于此。

技术领域

根据一个或多个示例性实施例致的装置和方法总体上涉及神经网络，并且更具体地涉及执行动态定点策略的神经网络和人工神经网络中控制定点的方法。

背景技术

定点运算和浮点运算是由诸如处理器的数字电路执行的基本操作。与定点运算相比，浮点运算提供更好的精度和更宽的表达范围，但却是更长的操作时间和更高的功耗。因此，相对于浮点运算，定点运算提供了更经济或有效的数字信号处理。定点运算在训练需要大量计算的人工神经网络(ANN)时尤为重要。然而，定点运算方案由于实数的窄范围而具有溢出的风险。当操作中的数据大小变得大于处理器的寄存器大小时，发生溢出。可以减小对应于分数部分的大小的分数长度以防止溢出。然而，当不必要地减小分数长度时，可能发生下溢并且可能不必要地牺牲精度或值分辨率。

发明内容

一个或多个示例性实施例的方面提供了一种能够有效地执行动态定点策略的人工神经网络(ANN)系统。

一个或多个示例性实施例的方面还提供了一种ANN系统中的控制定点的方法，能够有效地执行动态定点策略。

根据示例性实施例的一方面，提供了一种人工神经网络(ANN)系统，包括：处理器，被配置为针对ANN的每层中包括的多个节点执行节点操作，以获得节点操作的多个结果值，并且基于用于每层的当前量化的第k个定点格式对所获得的多个结果值执行量化操作，以获得多个量化值；虚拟溢出检测电路，被配置为生成对所获得的多个量化值的有效位数的分布加以指示的虚拟溢出信息；和数据格式控制器，被配置为基于所生成的虚拟溢出信息确定用于每层的后续量化的第(k+1)个定点格式。

根据另一示例性实施例的一方面，提供了一种人工神经网络(ANN)系统，包括：虚拟溢出检测电路，被配置为：生成与多个量化值对应的多个温度计码，其中多个量化值是通过基于定点格式执行量化操作而获得的；以及基于所生成的多个温度计码生成虚拟溢出信息，该虚拟溢出信息指示多个量化值的有效位数的分布；和数据格式控制器，被配置为基于所生成的虚拟溢出信息来更新定点格式。

根据另一示例性实施例的一方面，提供了一种人工神经网络(ANN)系统中控制定点格式的方法，该方法包括：针对ANN的每层中包括的多个节点执行节点操作，以获得节点操作的多个结果值；基于用于每层的当前量化的第k个定点格式对所获得的多个结果值执行量化操作，以获得多个量化值；生成对所获得的多个量化值的有效位数的分布加以指示的虚拟溢出信息；和基于所生成的虚拟溢出信息确定用于每层的后续量化的第(k+1)个定点格式。

根据另一示例性实施例的一方面，提供了一种人工神经网络(ANN)系统中控制定点格式的方法，该方法包括：基于第k个定点格式执行量化操作以获得多个量化值；生成对所获得的多个量化值的有效位数的分布加以指示的虚拟溢出信息；和基于生成的虚拟溢出信息更新用于后续量化的定点格式。

根据另一示例性实施例的一方面，提供了一种非暂时性计算机可读记录介质，其上记录有计算机可执行的程序，用于执行上述方法中的任一方法。