[发明专利]一种基于模糊密集稀疏密集算法进行图像分类的方法

摘要

本发明提出了一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，该方法使用隶属度来度量网络权重与整个网络的关联程度，确定每个数据信息与群集之间的关联程度。本发明有如下有点：1、与其他经典网络相比，本发明提出的优化网络是基于学习权重的价值，并且计算出哪些网络权重是更重要的连接，这种筛选过程更好地提高了分类精度。2、本发明的框架迁移性相比传统DSD得到提高，可用于继Alexnet后的VGG16、vgg19等其余新型网络。3、针对传统的深度神经网络所需上万次迭代分类问题，本发明在数百次迭代以内能有效提高分类精度。

主权项

1.一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，其特征在于，包括如下步骤：步骤1，初始Dense阶段经过训练得到初始网络权值，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；其中，W表示权值，是指层数，N表示每层网络权值的个数，计算每一层N个网络权值W的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示层数，j表示每层权重的个数，这里m是总层数，n是每层权重总个数；初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度将网络权值进行分类，对网络中不重要的连接和权值进行裁剪，把网络修剪成中小网络；步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，其中，t为迭代次数，a是表示学习率，x表示输入数据，是表示哈密顿算子，权值以哈密顿算子为公差，依次递减；步骤4，将每次权值迭代更新的数值乘以与权值相对应的隶属度，作为下一次迭代更新的初始权值，并依次完成一次Fuzzy阶段的训练；步骤5，在最后Dense训练阶段，将裁剪的权值还原以及Fuzzy阶段训练好的网络权值作为其初始化权值，将其学习率调整为原来的使整个网络迭代训练10000以上，或者输出结果趋于稳定时，完成最后Dense阶段的训练。