[发明专利]针对处理器确定神经网络架构的搜索方法和装置

权利要求书

1.一种针对处理器确定神经网络架构的搜索方法，包括：

获取初始第一神经网络架构；

从初始第一神经网络架构开始，迭代地基于处理器相关损失函数搜索下一第一神经网络架构，直至满足第一搜索终止条件时停止搜索；

将搜索到的最优第一神经网络架构确定为将在所述处理器上使用的神经网络架构，

其中，所述处理器相关损失函数包括模型训练过程中的预测误差部分和处理器运算代价部分。

2.如权利要求1所述的搜索方法，其中，所述处理器运算代价部分包括处理器执行模型训练过程中访问DRAM的时间消耗超参数和/或功率消耗超参数。

3.如权利要求1所述的搜索方法，其中，

所述获取初始第一神经网络架构的步骤包括：获取包括至少一个阶段的初始第一神经网络架构，其中，每个阶段堆叠有至少一个网络块，基于网络块的构建规则，在每个所述阶段的网络块中填充有至少一个复合操作，所述复合操作由至少一个基本操作连接而成。

4.如权利要求3所述的搜索方法，其中，所述复合操作通过以下操作确定：

获取包括至少一个网络块的初始第二神经网络架构，其中，基于网络块的构建规则，所述初始第二神经网络架构的每个网络块中填充有候选组合操作的集合中的至少一个候选组合操作，所述集合中的每个候选组合操作包括多个预设的基本操作之中的至少一个基本操作；

从初始第二神经网络架构开始，迭代地搜索下一第二神经网络架构，直至满足第二搜索终止条件时停止搜索；

将搜索到的一个或多个优选的第二神经网络架构中的候选组合操作确定为复合操作。

5.如权利要求3或4所述的搜索方法，还包括：

根据人为设定来确定网络块的构建规则；和/或，基于对所述处理器优选的网络块结构来确定网络块的构建规则。

6.如权利要求5所述的搜索方法，其中，所述基于对所述处理器优选的网络块结构来确定网络块的构建规则的步骤包括：

在所述处理器的测试平台上，将初始神经网络按照至少一种变换方式进行变换，得到多种候选神经网络，其中，所述初始神经网络包括至少一个网络块结构；

获取各所述候选神经网络在所述测试平台中的运行状况；

基于运行状况的一个或多个优选的所述候选神经网络中的网络块结构，确定网络块的构建规则。

7.如权利要求6所述的搜索方法，其中，所述获取各所述候选神经网络在所述测试平台中的运行状况的步骤包括：

获取各所述候选神经网络在所述测试平台处理同一组参考数据的消耗时间，所述运行状况包括所述消耗时间。

8.如权利要求6所述的搜索方法，其中，所述将初始神经网络按照至少一种变换方式进行变换，包括以下步骤中的至少一个步骤：

将所述初始神经网络进行横向扩展；

将所述初始神经网络进行纵向扩展；

将所述初始神经网络中的单个运算进行并行拆分；

改变所述初始神经网络的特征图的大小；

改变所述初始神经网络的通道数。

9.如权利要求8所述的搜索方法，其中，所述网络块的构建规则包括如下至少一项：

纵向拓展与横向扩展的优先关系；

单个运算被并行拆分的数量；

通道数；

特征图的大小。

10.一种针对处理器确定神经网络架构的搜索装置，包括：

初始架构获取模块，被配置为获取初始第一神经网络架构；

目标架构获取模块，被配置为从初始第一神经网络架构开始，迭代地基于处理器相关损失函数搜索下一第一神经网络架构，直至满足第一搜索终止条件时停止搜索；

目标架构确认模块，被配置为将搜索到的最优第一神经网络架构确定为将在所述处理器上使用的神经网络架构；

其中，所述处理器相关损失函数包括模型训练过程中的预测误差部分和处理器运算代价部分。