[发明专利]一种深度神经网络的结构搜索方法及装置

权利要求书

1.一种深度神经网络的结构搜索方法，其特征在于，包括：

在预先设置的搜索空间中获得深度神经网络中依次串接的每个模块中的每层计算单元结构；所述每层计算单元结构包括至少一个计算单元；

在每个模块中采用预设连接方式将各计算单元进行连接，得到每个模块中的信息流；其中，处于同一层计算单元结构的计算单元之间不进行连接，每个计算单元能够与和其所在模块中的不同层的计算单元，以及其所在模块的输入和输出进行连接；

根据模块及每个模块中的计算单元的连接情况，得到初始神经网络；

对所述初始神经网络中的信息流设置稀疏缩放算子，其中所述稀疏缩放算子用于对所述信息流进行缩放；

采用预置的训练样本数据对所述初始神经网络的权重和信息流的稀疏缩放算子进行训练，得到中间神经网络；

将所述中间神经网络中稀疏缩放算子为零的信息流删除，得到搜索空间内的搜索结果神经网络。

2.根据权利要求1所述的深度神经网络的结构搜索方法，其特征在于，所述每层计算单元结构的计算单元包括卷积计算单元和池化计算单元中的至少一种。

3.根据权利要求1所述的深度神经网络的结构搜索方法，其特征在于，在每个模块中采用预设连接方式将各计算单元进行连接，得到每个模块中的信息流，包括：

在每个模块中，将每个计算单元与和其所在模块中的不同层的计算单元，以及其所在模块的输入和输出进行连接；得到从模块的输入到每层计算单元结构、从每层计算单元结构到模块的输出，以及各计算单元之间的信息流。

4.根据权利要求1所述的深度神经网络的结构搜索方法，其特征在于，在根据模块及每个模块中的计算单元的连接情况，得到初始神经网络之后，还包括：

对初始神经网络的权重进行配置，以初始化初始神经网络的权重。

5.根据权利要求1所述的深度神经网络的结构搜索方法，其特征在于，在根据模块及每个模块中的计算单元的连接情况，得到初始神经网络之后，还包括：

采用预置的预训练样本数据对所述初始神经网络的权重进行预训练，得到预训练后的初始神经网络。

6.根据权利要求1所述的深度神经网络的结构搜索方法，其特征在于，在将所述中间神经网络中稀疏缩放算子为零的信息流删除之后，还包括：

在与一计算单元的连接对应的信息流均被删除后，将该计算单元删除。

7.根据权利要求1所述的深度神经网络的结构搜索方法，其特征在于，所述采用预置的训练样本数据对所述初始神经网络的权重和信息流的稀疏缩放算子进行训练，得到中间神经网络，包括：

构建初始神经网络对应的目标函数，所述目标函数包含损失函数、权重正则函数和稀疏正则函数；

采用所述训练样本数据对所述初始神经网络进行迭代训练；

当迭代训练次数达到阈值或者所述目标函数满足预置的收敛条件时，得到所述中间神经网络。

8.根据权利要求7所述的深度神经网络的结构搜索方法，其特征在于，所述采用所述训练样本数据对所述初始神经网络进行迭代训练，具体包括：

对所述初始神经网络进行多次以下的迭代训练：

将前一次迭代训练得到的稀疏缩放算子作为所述目标函数的常量，将所述权重作为所述目标函数的变量，采用第一优化算法对所述目标函数进行优化，得到本次迭代训练的权重；

将本次迭代训练的权重作为所述目标函数的常量，将稀疏缩放算子作为所述目标函数的变量，采用第二优化算法对所述目标函数进行优化，得到本次迭代训练的稀疏缩放算子；

基于本次迭代训练的权重和稀疏缩放算子进行下一次迭代训练。

9.根据权利要求8所述的深度神经网络的结构搜索方法，其特征在于，所述第二优化算法为加速近端梯度下降算法、近端梯度下降算法或者交替方向乘子算法。