[发明专利]基于可微分采样器和渐进学习的卷积神经网络架构搜索方法

权利要求书

1.一种基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，包括以下步骤：

S1，构建超网络、所述超网络的架构参数以及可微分采样器；

S2，以渐进学习的方式，根据所述架构参数，运用所述可微分采样器对所述超网络进行采样优化，得到期望网络；

S3，对所述期望网络进行网络重训直至所述期望网络收敛。

2.根据权利要求1所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述超网络按深度分为第一网络模块、第二网络模块以及第三网络模块；

所述第一网络模块的输出连接所述第二网络模块的输入，所述第二网络模块的输出连接所述第三网络模块的输入；所述第一网络模块以及第二网络模块分别由两种单元组成，包括若干normal单元和1个reduction单元；所述第三网络模块由若干normal单元组成；

所述normal单元以及reduction单元分别由若干节点组成有向无环图，所述节点表示特征图，节点间的边表示对特征图进行变换的神经算子。

3.根据权利要求2所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述架构参数表征所述超网络中的子网络的概率分布函数，通过以下方式构建：将所述超网络中的边视为随机变量，假设所述超网络中的边都相互独立；为所述超网络中的边分别分配一组独立的参数并由Softmax函数处理，得到所述超网络的架构参数。

4.根据权利要求3所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，子网络的概率分布函数通过以下公式表示：

其中，

式中，A表示子网络；p(A)表示采样到子网络A的概率；k表示单元的序号；i和j分别表示边(i，j)输入节点和输出节点的序号；E_k,i,j表示第k个单元中边(i,j)的神经算子；α为架构参数；O为神经算子的集合。

5.根据权利要求2所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述步骤S2在运用所述可微分采样器对所述超网络进行优化的过程中，包括逐渐增大子网络搜索空间的第一阶段、第二阶段以及第三阶段；

在所述第一阶段中，所述超网络中的所有normal单元之间以及所有reduction单元之间分别共享相同的拓扑结构；

在所述第二阶段中，需要先根据所述第一阶段的优化结果对所述超网络以及超网络的架构参数进行重构再进行采样优化；在所述第二阶段中重构得到的超网络中，同一模块中的normal单元之间以及reduction单元之间分别共享相同的拓扑结构，不同模块的normal单元之间以及reduction单元之间允许存在不同的拓扑结构；

在所述第三阶段中，需要先根据所述第二阶段的优化结果对所述超网络以及超网络的架构参数进行重构再进行采样优化；在所述第三阶段中重构得到的超网络中，所有normal单元之间以及所有reduction单元之间均允许存在不同的拓扑结构。

6.根据权利要求5所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述步骤S2在所述超网络前向传播的过程中，只对采样权重排名靠前的若干神经算子进行计算，还会对残差连接施加Dropout操作。

7.根据权利要求1所述的基于可微分采样器和渐进学习的卷积神经网络架构搜索方法，其特征在于，所述可微分采样器基于离散分布近似采样技术实现。