[发明专利]一种基于K-NN图模块度的模型剪枝识别方法及系统

说明书

一种基于K‑NN图模块度的模型剪枝识别方法，包括以下步骤：S1：样本输入优化模型获取预训练模型；S2：利用特征表示和特征距离获取一系列K‑NN图；S3：构建动态图，标签划定社区计算K‑NN图模块度；S4：根据模块度识别冗余层修剪范围，模型剪枝处理；S5：重复训练得到最终模型；S6：分类器模型进行生物分类。本发明还包括一种基于K‑NN图模块度的模型剪枝识别方法的系统，该系统由模型获取模块，构建K‑NN模块，动态图模块度计算模块，冗余层识别剪枝模块和生物分类模块依次连接构成。本发明将预训练模型特征表示中的类分离过程建模为动态图中社区的演化过程，无需对准确率增加恢复措施，获得具有高准确率的剪枝后模型，从而提高生物分类的效率。

技术领域

本发明涉及生物分类和神经网络领域，特别涉及一种基于K-NN图模块度的剪枝模型方法及系统。

背景技术

生物分类是研究自然界组成的重要方式，通过对生物的特征相似性分析，对物种进行种属分类，探究生物起源和自然的演化。通过生物分类可以了解同种属生物的相似生活习性，有利于保护现有生态系统以及现存濒危生物种。目前对于生物的研究多以图片视频的方式进行分类来探究生物特征，图分类是一种有效的生物分类的实现方式。

图像分类，是一种对输入图像进行分析，对输出图像信息描述进行分类的过程。图像的输入是一个元素为像素值的数组，给其分配分类标签。传统的图分类使用特征描述及检测，仅对一些简单图像分类是有效的，不适用多数数量庞大，图像复杂的图。于是我们采用深度学习的方式，模型输入图像数据，利用机器学习，学习到每个类的特征后采用数据驱动的方式进行图分类。第一步输入是需要将已经做好分类标注的图作为训练集，训练集为具有多个图像的集合，每个图像的标签是多种分类标签中的一种；第二步学习是让分类器使用训练集学习每个类别的特征，而不是直接对图像进行特征分类，使用k-NearestNeighbor分类器，找最相似的k个图片的标签，然后让他们针对测试图片进行投票，最后把票数最高的标签作为对测试图片的预测；最后将分类器预测的分类结果与真实的分类结果比对，准确率越高表示该分类器效果越好。

卷积神经网络已经成为计算机视觉任务例如图像分类、目标检测、语义分割等的主要解决方法。近年来，为了解决深度学习模型高存储空间和耗费高等问题，深度模型剪枝压缩就成为了一种减少模型存储要求并且不影响精度的优化手段。最先进的神经网络往往涉及非常深的网络，必然带来大量的参数计算操作。因此，人们在设计紧凑型模型方面做了大量的工作，模型剪枝是其中的一种方法。神经网络的参数众多，模型剪枝将对最终的输出结果贡献不大而显得冗余的参数剪掉。作为一个迭代的过程，模型剪枝通常称为“迭代式剪枝”；迭代的过程就是剪枝和模型训练两者的交替重复。

本发明重点是关注以往不能对冗余层准确量化从而定点进行剪枝的问题。CN202110838976.6一种高效的深度卷积神经网络剪枝方法，通过基于ADMM算法的稀疏学习方法优化缩放因子使网络结构稀疏化，利用遗传算法和适应度函数搜索出最佳裁剪率进行剪枝处理；CN202110947826.9一种基于PCA的神经网络剪枝方法，利用PCA对卷积核参数处理，通过百分比参数计算保留的卷积核个数和参数重建神经网络从而粗剪枝处理；CN2021111033764.7一种稀疏网络结构剪枝方法及装置，将GroupLasso应用于具有结构化稀疏项的正则函数，从获取的优化目标函数得到通道权重，根据权重判断进行剪枝；CN202110903135.9一种基于概率的MobilenetV1网络通道剪枝方法，计算交叉熵和BN缩放因子的损失函数结合MobilenetV1网络得到通道概率进行剪枝，融合下层的BN偏移因子来保证准确度。可以看出，目前的剪枝技术都是在原来的预训练模型的基础上，计算损失函数，通过各种方式获得对通道的权重概率进行剪枝或者根据保留参数构建新的训练模型，而后再其他操作恢复模型精确度。目前存在的模型剪枝过程步骤繁琐，推进速度慢，计算量大，很难保证剪枝后的模型精确度要求，所以如何设计步骤简单且精度较高的模型剪枝技术是当前研究的难点。

发明内容