[发明专利]神经网络优化装置和神经网络优化方法

权利要求书

1.一种神经网络优化装置，包括：

性能估计模块，其被配置为基于神经网络的操作和对被用于执行所述神经网络的所述操作的资源的限制要求来输出估计性能；

部分选择模块，其被配置为从所述性能估计模块接收所述估计性能并选择所述神经网络的其操作偏离所述限制要求的部分；

新神经网络生成模块，其被配置为通过强化学习，通过改变包括在所述神经网络的所述部分中的层结构来生成子集，基于所述估计性能来确定优化层结构，并将所述部分改变为所述优化层结构以生成新神经网络；以及

最终神经网络输出模块，其被配置为输出由所述新神经网络生成模块生成的所述新神经网络作为最终神经网络。

2.根据权利要求1所述的神经网络优化装置，其中，所述部分选择模块包括：

神经网络输入模块，其被配置为接收所述神经网络的信息；

分析模块，其被配置为搜索所述神经网络的所述信息并分析所述估计性能是否偏离所述限制要求；以及

部分确定模块，其被配置为将其中所述估计性能偏离所述限制要求的层确定为所述部分。

3.根据权利要求2所述的神经网络优化装置，其中，所述分析模块设定反映所述限制要求的阈值，然后分析所述估计性能是否超过所述阈值。

4.根据权利要求1所述的神经网络优化装置，其中，所述新神经网络生成模块包括：

子集生成模块，其被配置为生成所述子集，其中所述子集包括通过改变所述部分的所述层结构而生成的至少一个改变层结构；

子集学习模块，其被配置为学习由所述子集生成模块生成的所述子集；

子集性能检查模块，其被配置为使用所述估计性能来检查所述子集的性能并确定所述优化层结构以生成所述新神经网络；以及

奖励模块，其被配置为基于由所述子集学习模块学习的所述子集以及由所述子集性能检查模块检查的所述子集的所述性能来向所述子集生成模块提供奖励。

5.根据权利要求1所述的神经网络优化装置，其中，最终神经网络输出模块包括：

最终神经网络性能检查模块，其被配置为检查所述最终神经网络的性能；以及

最终输出模块，其被配置为输出所述最终神经网络。

6.根据权利要求1所述的神经网络优化装置，还包括：

神经网络采样模块，其被配置为对由所述新神经网络生成模块生成的所述子集采样；和

性能检查模块，其被配置为检查所述子集中被采样的所述神经网络的性能并基于所述性能检查模块所执行的检查的结果向所述性能估计模块提供更新信息。

7.根据权利要求1所述的神经网络优化装置，其中，所述性能估计模块输出针对单个指标的所述估计性能。

8.根据权利要求1所述的神经网络优化装置，其中，所述性能估计模块输出针对复合指标的所述估计性能。

9.根据权利要求1所述的神经网络优化装置，其中：

所述限制要求包括第一限制要求和不同于所述第一限制要求的第二限制要求，并且所述估计性能包括根据所述第一限制要求的第一估计性能和根据所述第二限制要求的第二估计性能，

所述部分选择模块选择所述神经网络中其中所述第一估计性能偏离所述第一限制要求的第一部分以及其中所述第二估计性能偏离所述第二限制要求的第二部分，并且

所述新神经网络生成模块将所述第一部分改变为第一优化层结构并将所述第二部分改变为第二优化层结构以生成所述新神经网络，所述第一优化层结构是通过所述强化学习从包括在所述第一部分中的所述层结构中确定的层结构，并且所述第二优化层结构是通过所述强化学习从包括在所述第二部分中的所述层结构确定的层结构。