[发明专利]面向物联网应用的单深度神经网络模型鲁棒性提升方法

权利要求书

1.一种面向物联网应用的单深度神经网络模型鲁棒性提升方法，其特征在于，该方法包括以下具体步骤：

步骤1：模型结构改造

a1：以单神经网络结构为基础，在浅层添加分支，形成多分支神经网络模型结构；

a2：在网络的各分支间实现特征融合，深层特征不断递归融合到浅层中，形成特征金字塔结构；

a3：网络中所有分支预测做均化计算得最终输出，形成最终的多分支单神经网络模型结构；

步骤2：对多分支单神经网络模型进行训练：最终输出作交叉熵计算，分支的预测作整体多样性计算，计算出的值作为惩罚项，完成模型参数优化；具体步骤如下：

1)当训练轮数达设定好的界限时，将学习率降为上一阶段的十分之一；

2)获取各个分支的预测结果；

3)计算所有分支预测结果的平均值；

4)以各分支的预测作为输入计算整体多样性数值；

5)使用步骤2)的值计算交叉熵作为目标误差；

6)累加多样性数值和交叉熵作为模型此次推理的最终误差，开求出模型所有训练参数的对应梯度；

7)依据计算出的梯度，使用优化器更新模型参数；

8)未达到最大设定轮数限制时，跳至步骤1)；直至达到最大轮数结束训练。

2.根据权利要求1所述的面向物联网应用的单深度神经网络模型鲁棒性提升方法，其特征在于，所述的特征融合为网络深层特征图上采样至与浅层相同尺寸，对位累加融合，经多次迭代形成金字塔结构。

3.根据权利要求1所述的面向物联网应用的单深度神经网络模型鲁棒性提升方法，其特征在于，所述分支的预测作整体多样性计算包括：

1)组合交叉熵来保证各分支的预测准确率；

其中P是所有分支预测的集合，关系表现为P＝{pn}，n∈N，N是分支数目，y是正确的标签，θ为模型内的参数集合，L_BE为组合交叉熵值；

2)各分支预测计算香农熵保证预测的置信度；

P^*为求的香农熵的对象，p_n为第n个分支的预测结果；

3)定义预测相似性度量；

采用修改非极大预测分布的方式，非极大预测分布为分支预测分布去除正确标签对应位后剩余的错误分类向量；将所有分支的非极大预测分布整合，构成一个n-1维的向量组

为第n个分支经L2标准化的非极大预测向量，是的转置矩阵，det是矩阵行列式计算，log为对数计算，L_DS为最终的预测相似性度量值；

最终对整体多样性计算为：

L_ED＝L_BE+H(P^*)+(0.5)·L_DS

其中H(·)为香农熵计算公式，L_ED为最终的整体多样性数值。