[发明专利]神经网络优化装置和神经网络优化方法

说明书

一种神经网络优化装置，其包括性能估计模块，部分选择模块，新神经网络生成模块以及最终神经网络输出模块。性能估计模块基于对被用于执行神经网络的操作的资源的限制要求，根据执行神经网络的操作来输出估计性能。部分选择模块从性能估计模块接收估计性能并选择神经网络的偏离限制要求的部分。新神经网络生成模块通过强化学习，通过改变包括在神经网络的所选部分中的层结构来生成子集，基于从性能估计模块提供的估计性能来确定优化层结构，并将所选部分改变为优化层结构以生成新神经网络。最终神经网络输出模块输出由新神经网络生成模块生成的新神经网络作为最终神经网络。

相关申请的交叉引用

本申请要求2019年1月2日提交于韩国知识产权局的韩国专利申请No.10-2019-0000078的优先权，该申请的公开内容整体以引用方式并入本文中。

技术领域

本公开涉及一种神经网络优化装置和神经网络优化方法。

背景技术

深度学习是指基于使用具有多个处理层的深度图来对输入数据中的高抽象程度进行建模的一组算法的操作架构。通常，深度学习架构可包括多个神经元层和参数。例如，作为深度学习架构之一，卷积神经网络(CNN)广泛用于许多人工智能和机器学习应用，例如图像分类、图像字幕生成、视觉问答和自动驾驶车辆。

例如，神经网络系统包括用于图像分类的大量参数并需要大量运算。因此，其具有高复杂度并消耗大量资源和功率。因此，为了实现神经网络系统，需要有效地计算这些运算的方法。具体地，例如，

在以有限方式提供资源的移动环境中，更重要的是增加计算效率。

发明内容

本公开的各方面提供一种增加神经网络的计算效率的神经网络优化装置和方法。

本公开的各方面还提供一种装置和方法以用于考虑资源限制要求和估计性能来优化神经网络以便增加神经网络的计算效率，特别是在资源有限的环境中。

根据本公开的一方面，提供了一种神经网络优化装置，其包括：性能估计模块，其被配置为基于对被用于执行神经网络的操作的资源的限制要求根据执行神经网络的操作来输出估计性能；部分选择模块，其被配置为从性能估计模块接收估计性能并选择神经网络的偏离限制要求的部分；新神经网络生成模块，其被配置为通过强化学习，通过改变包括在神经网络的所选部分中的层结构来生成子集，基于从性能估计模块提供的估计性能来确定优化层结构，并将所选部分改变为优化层结构以生成新神经网络；以及最终神经网络输出模块，其被配置为输出由新神经网络生成模块生成的新神经网络作为最终神经网络。

根据本公开的另一方面，提供了一种神经网络优化装置，包括：性能估计模块，其被配置为基于对被用于执行神经网络的操作的资源的限制要求根据执行神经网络的操作来输出估计性能；部分选择模块，其被配置为从性能估计模块接收估计性能并选择神经网络的偏离限制要求的部分；新神经网络生成模块，其被配置为通过改变包括在神经网络的所选部分中的层结构来生成子集，并通过基于子集将所选部分改变为优化层结构来生成新神经网络；神经网络采样模块，其被配置为对来自新神经网络生成模块的子集采样；性能检查模块，其被配置为检查由神经网络采样模块提供的子集中采样的神经网络的性能，并基于检查结果来向性能估计模块提供更新信息；以及最终神经网络输出模块，其被配置为输出由新神经网络生成模块生成的新神经网络作为最终神经网络。

根据本公开的另一方面，提供了一种神经网络优化方法，包括：基于对被用于执行神经网络的操作的资源的限制要求，根据执行神经网络的操作来估计性能；基于估计性能来选择神经网络的偏离限制要求的部分；通过强化学习，通过改变包括在神经网络的所选部分中的层结构来生成子集，并基于估计性能来确定优化层结构；将所选部分改变为优化层结构以生成新神经网络；以及输出所生成的新神经网络作为最终神经网络。