[发明专利]一种基于元特征的伪监督聚类方法

说明书

本发明属于深度学习技术领域，具体涉及一种基于元特征的伪监督聚类方法，包括以下步骤：将数据集输入深度模型进行预训练；将原始图像和数据增强后的图像输入预训练模型中分别用于实例级别特征提取和类别预测，利用分类器对类别样本进行预测，选取高置信度的样本用于构建含有稳定语义信息的元特征；伪标签构建和伪标签全局分配；伪标签优化深度模型，采用带有标签平滑的交叉熵损失指导并优化元特征的选取和伪标签的分配。本发明在有效保证特征语义的情况下，提供稳定的聚类监督信号，通过在全局范围内分配伪标签完成从稳定样本到语义标签的直接映射，有效提高深度模型的分类精度，实现了稳定特征的语义自学习。

技术领域

本发明属于深度学习技术领域，涉及认知知识中元知识在深度学习领域应用于深度聚类的一种实现，具体涉及一种基于元特征的伪监督聚类方法。

背景技术

聚类是最基础和最重要的数据分析手段之一，实现对海量数据快速智能的聚类分析对于帮助整理、摘要和储存数据具有重要意义。在大数据和人工智能迅速发展的背景下，对海量无标签数据进行智能分析与处理的需求日益增大。将传统聚类和深度学习结合成为目前的研究热点，我们称该方法为深度聚类。深度聚类动机是借助深度神经网络的强大表示学习能力，提升数据的特征质量，从而在没有人工标注的复杂样本上实现良好的聚类效果。

深度聚类一般分为深度神经网络提取特征和利用特征进行聚类两个过程。传统的深度聚类方法虽然利用深度神经网络自动提取数据特征，但是数据特征提取方法倾向于关注人类认为非语义的低级特征，特别是在工业或医疗领域，待识别目标通常是复杂且非均匀分布的，目标模式改变也很大，而深度聚类没有稳定的标签信息作为监督信号，若将不准确的聚类结果作为监督信号引导神经网络的训练时，存在误导神经网络的风险，而使用误导的网络提取特征做聚类则会造成结果的进一步恶化，很难达到理想的聚类效果。

目前的深度聚类方法主要基于互信息最大化的聚类分配，但是这些方法过于依赖网络初始化，并且很可能锁定到非语义的低级特征。这类方法没有充分考虑模型在认知决策过程中的稳定特征，不适用于实际应用；深度聚类能够挖掘具有稳定语义的特征具有重要意义，这样如何选择具备稳定语义的特征作为聚类的监督信号就成为深度聚类过程中的核心问题。

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提出了一种基于元特征的伪监督聚类方法，综合考虑模型提取稳定语义特征和聚类过程中稳定的监督信号来训练深度聚类模型，可以有效提高聚类语义，极大提高分类的准确率；该方法将人类对事物认知中的稳定语义引入深度学习模型，具有重要意义。

本发明的技术方案是：

一种基于元特征的伪监督聚类方法，包括以下步骤：

S1：将数据集输入深度模型进行预训练；

S2：将原始图像和数据增强后的图像输入预训练模型中分别用于实例级别特征提取和类别预测，利用分类器对类别样本进行预测，对置信度较高的样本特征进行挑选，选取高置信度的样本用于构建含有稳定语义信息的元特征f_Meta；

选取每个类别概率最高的K个样本作为自信样本C_k，自信样本加权平均后作为元特征f_Meta，

S3：伪标签构建和伪标签全局分配；即，获取元特征后，为元特征在全局范围内寻找语义最近邻样本，为元特征和对应的语义最近邻分配相同的伪标签，l_k＝{N(f_Meta)|k∈[1，2…，S]}，其中，N(·)表示样本的全局最近邻，l_k为元特征近邻分配的伪标签；

S4：伪标签优化深度模型，采用带有标签平滑的交叉熵损失指导并优化元特征的选取和伪标签的分配；

标签平滑方法通过添加均匀噪音来改进类别伪标签y，给定带有相应标签，将噪声注入所有类别，如下所示：