[发明专利]使用分层表示进行神经网络体系结构搜索

权利要求书

1.一种用于自动确定神经网络体系结构的计算机实现的方法，

其中，所述方法将神经网络体系结构表示为定义分层图形集合的数据结构，

每个图形具有输入、输出以及输入和输出之间的多个节点，其中节点对应于由所述神经网络体系结构定义的神经网络内的特征图，其中两个节点通过边连接，并且其中每个边将边的输入节点连接到所述边的输出节点并且对应于对所述边的输入节点的特征图执行的操作以向所述边的输出节点提供特征图，使得每个图形执行操作，

所述分层图形集合包括图形的多个分层层级、包括一个或多个最低层级图形的最低分层层级、和包括一个或多个下一层级图形的下一更高分层层级，

其中，对应于所述一个或多个最低层级图形的边的操作是从原语神经网络操作集合中选择的，并且

其中，对应于所述一个或多个下一层级图形的边的操作是从由所述一个或多个最低层级图形执行的操作集合中选择的；

所述方法包括：

通过至少定义由表示样本神经网络体系结构的相应的分层图形集合中的边执行的操作来确定至少两个样本神经网络体系结构；

生成具有样本神经网络体系结构的样本神经网络；

训练所述样本神经网络；

通过确定所述样本神经网络中的每个样本神经网络的适应度值来评估样本神经网络；以及

根据所确定的适应度值来选择样本神经网络体系结构中的一个或多个样本神经网络体系结构，以确定神经网络体系结构。

2.根据权利要求1所述的方法，其中，所述图形的多个分层层级包括一系列下一更高分层层级，并且其中对应于每个分层层级的边的操作是从由所述系列中前一层级的一个或多个图形执行的操作集合中选择的。

3.根据权利要求1或2所述的方法，其中，所述原语神经网络操作集合包括恒等操作，其中当在特征图上执行所述恒等操作时，使所述特征图不变。

4.根据权利要求1、2或3所述的方法，其中，所述原语神经网络操作集合包括至少一个卷积操作，其中当在特征图上执行所述卷积操作时，使所述特征图的分辨率不变。

5.根据权利要求1-4中任一项所述的方法，其中，所述原语神经网络操作集合包括随后是批量归一化操作的至少一个卷积操作。

6.根据权利要求1-5中任一项所述的方法，其中，所述原语神经网络操作集合包括无连接操作，所述无连接操作定义了由所述操作对应的边链接的节点之间不具有直接连接。

7.根据权利要求1-6中任一项所述的方法，其中，确定至少两个样本神经网络体系结构包括通过以下来初始化一个样本神经网络体系结构或样本神经网络体系结构种群：

通过至少定义由所述分层图形集合的边执行的操作，初始化定义所述分层图形集合的数据结构的至少一个实例，以及

通过修改由所述分层图形集合的边执行的操作来对数据结构的所述至少一个实例进行突变。

8.根据权利要求7所述的方法，当引用权利要求3时，其中，所述初始化包括将由所述分层图形集合的边执行的操作中的至少一些操作初始化为恒等操作。

9.根据权利要求7或8所述的方法，其中，所述选择包括将来自所述种群的样本神经网络体系结构的适应度值彼此进行比较。

10.根据权利要求7、8或9所述的方法，其中，确定至少两个样本神经网络体系结构还包括对根据所确定的适应度值选择的样本神经网络体系结构进行突变，并重复生成、训练、评估和选择以演化样本神经网络体系结构。

11.根据权利要求10所述的方法，其中，所述突变包括选择分层层级之一、选择所选择的层级中的图形、选择所选择的图形中的前置节点和后置节点、以及用另一操作替换对应于连接所选择的节点的边的操作。