[发明专利]基于拆分-融合策略的分布式深度神经网络结构转换方法

权利要求书

1.基于拆分-融合策略的分布式深度神经网络结构转换方法，其特征在于，包括以下步骤：

1)采集图片，组成数据集，并将数据集分为训练集和测试集，对训练集和测试集中的图片进行预处理；

2)对网络模型进行通道拆分，扩充网络模型宽度，然后再添加融合层，得到改进后的网络模型；其中，对网络模型进行通道拆分，扩充网络模型宽度，然后再添加融合层，得到改进后的网络模型包括以下步骤：

(1)构建一个层级的超网络，在超网络中的每一层设置两个候选block，其中一个候选Block包含拆分之后的层，另一个候选block包含拆分之后的层和并行的融合层；

(2)训练超网络；

(3)搜索最优的网络结构，首先从训练后的超网络中采样子网络，初始化种群，然后使用遗传算法采样，得到候选网络，首先判断候选网络是否满足n_f≤[L/10]，若不满足，则丢弃，重新采样；若满足，则计算BN中的统计量，再将该候选网络在验证数据集上进行推理，得到候选网络的代理精度，代理精度最高的候选网络作为搜索出的网络结构；

BN中的统计量通过下式计算

其中，x是累积的统计量，x_i是x的第i个mini-batch，n_b是mini-batch的数量，m是动量；

(4)将搜索出的网络结构重新训练至收敛，得到最终的网络结构，完成搜索；

(5)将1x1的标准卷积添加到与最终的网络结构并行的位置，作为网络模型中的融合层；

3)采用训练集中的图片对改进后的网络模型进行训练后，将预处理之后的测试集中的图片输入到训练后的网络模型中，得到图片分类结果。

2.根据权利要求1所述的基于拆分-融合策略的分布式深度神经网络结构转换方法，其特征在于，步骤1)中，采集图片，组成数据集，并将数据集分为训练集和测试集，对训练集和测试集中的图片进行预处理包括以下步骤：调整图片大小、对图片进行裁剪、随机左右翻转或像素归一化。

3.根据权利要求1所述的基于拆分-融合策略的分布式深度神经网络结构转换方法，其特征在于，步骤2)中，对网络模型进行通道拆分，扩充网络模型宽度，然后再添加融合层，得到改进后的网络模型包括以下步骤：将网络模型宽度扩充倍，再去除网络模型中标准卷积层和全连接层里的部分权重；其中d是分组数。

4.根据权利要求3所述的基于拆分-融合策略的分布式深度神经网络结构转换方法，其特征在于，去除网络模型中标准卷积层和全连接层里的部分权重包括以下步骤：

对于网络模型中的标准卷积层，设扩充网络模型宽度之前，输入通道数为c_in，输出通道数为c_out，卷积核大小为k，输出特征图的高度为h，宽度为w，那么在扩充网络宽度之后，输入通道数为输出通道数然后将所有的卷积核按顺序均分成d组，那么每一组包含的卷积核数量为将第i组卷积核的第至个通道中的权值保持不变，将其他通道中的所有权值置为0；其中，i是计数变量，1≤i≤d；

对于网络模型中的全连接层，设扩充网络模型宽度之前，输入节点数为n_in，输出节点数为n_out，那么在扩充网络模型宽度之后，输入节点数为输出节点数为将输出节点数按顺序均分成d组，那么每一组包含的输出节点数为将第j组输出节点与第至个输入节点之间的权值保持不变，将第j组输出节点与其他输入节点之间的权值置为0。

5.根据权利要求1所述的基于拆分-融合策略的分布式深度神经网络结构转换方法，其特征在于，步骤3)中，采用训练集中的图片对改进后的网络模型进行训练时，采用的损失函数为交叉熵。

6.根据权利要求1所述的基于拆分-融合策略的分布式深度神经网络结构转换方法，其特征在于，步骤3)中，采用训练集中的图片对改进后的网络模型进行训练后，将预处理之后的测试集中的图片输入到训练后的网络模型中，得到图片分类结果包括以下步骤：

将训练后的网络模型部署到分布式系统中，在部署时将网络模型的不同组部署到分布式系统中不同的边缘节点上，将融合层部署到一个节点上，再将预处理之后的测试集中的图片输入到网络模型中，得到图片分类结果。