[发明专利]用于生成定点型神经网络的方法和装置

说明书

通过量化浮点型神经网络生成定点型神经网络的方法，包括由设备通过将激活函数应用于从包括在浮点型神经网络中的层接收的多个激活值获得多个后激活值，并由设备导出对于多个后激活值中的至少一些的多个统计特征。方法还包括由设备基于多个统计特征确定对于浮点型神经网络的量化的步长，并由设备基于步长确定对于定点型神经网络的最终小数长度。

相关申请的交叉引用

本申请要求在韩国知识产权局于2017年11月2日提交的、韩国专利申请号10-2017-0145374的优先权，其公开通过其整体引用而并入本文。

技术领域

与示例实施例一致的方法和装置涉及神经网络，并且更具体地，涉及用于生成定点型神经网络的方法和装置。

背景技术

神经网络指代模拟生物大脑的计算架构。近来，随着神经网络技术的发展，已经使用神经网络设备积极研究了用于分析输入数据并提取有效信息的各种电子系统。

神经网络设备可以对复杂输入数据使用大量计算。为了使神经网络设备实时地分析高质量输入并提取信息，可以使用能够有效处理神经网络操作的技术。低功率和高性能的嵌入式系统(诸如智能电话)具有有限的资源，并且可以使用可以在减少用于处理复杂输入数据的计算量同时使精度损失最小化的技术。

发明内容

根据示例实施例，提供了通过量化浮点型神经网络生成定点型神经网络的方法，方法包括：由设备通过将激活函数应用于从包括在浮点型神经网络中的层接收到的多个激活值，获得多个后激活(post-activation)值；并且由设备导出对于多个后激活值中的至少一些的多个统计特征。方法还包括：由设备基于多个统计特征确定对于浮点型神经网络的量化的步长；并且由设备基于步长确定对于定点型神经网络的最终小数(fraction)长度。

根据示例实施例，提供了包括指令的非暂时性计算机可读介质，该指令当被运行时使得处理器执行以下中的方法：由设备通过将激活函数应用于从浮点基础上的预训练的神经网络的层接收到的多个激活值，选择多个后激活值的组；并且由设备基于多个后激活值的组导出对于广义伽马分布的多个参数。方法还包括：由设备基于多个参数确定对于预训练的神经网络的量化的步长；并且由设备基于步长确定对于定点型神经网络的小数长度。

根据示例实施例，提供了设备，包括：存储器，被配置为存储程序；和处理器，被配置为通过运行程序以通过将激活函数应用于从包括在浮点型神经网络中的层接收到的多个激活值获得多个后激活值，并导出对于多个后激活值中的至少一些的多个统计特征，通过量化浮点型神经网络生成定点型神经网络。处理器还被配置为：运行程序，以基于多个统计特征确定对于浮点型神经网络的量化的步长，并且基于步长确定对于定点型神经网络的最终小数长度。

附图说明

图1是根据示例实施例的神经网络的视图。

图2是根据示例实施例的神经网络量化设备的硬件配置的框图。

图3是根据示例实施例的预训练的神经网络如何量化并应用于硬件加速器的视图。

图4是浮点和定点的视图；

图5是根据示例实施例的量化浮点型神经网络的方法的流程图。

图6A是根据示例实施例的对于后激活中的至少一些的统计特征的导出的方法的流程图。

图6B是根据示例实施例的对于后激活中的至少一些的统计特征的导出的视图。

图7是根据示例实施例的对于量化的步长计算的视图。

图8是根据示例实施例的小数长度确定的流程图。

图9是根据示例实施例的小数长度确定的流程图。

图10是根据示例实施例的神经网络和比较示例中每一个的性能的曲线图。