[发明专利]一种基于相似度的半监督学习数据分类算法

权利要求书

1.一种基于相似度的半监督学习数据分类算法，其特征在于，包括三个部分：无标记样本的k-means聚类，半监督相似度计算，无标记样本的k-means聚类与半监督相似度计算相结合来扩展量少类进行模型分类，再评估模型的分类效果。

2.根据权利要求1所述的一种基于相似度的半监督学习数据分类算法，其特征在于，使用半监督方法对数据分类，将筛选出来的高价值量少类的未标记数据作为标记数据加入量少类进行训练。

3.根据权利要求1所述的一种基于相似度的半监督学习数据分类算法，其特征在于，还包括一种高价值量少类的数据分类框架，其主要步骤如下：

步骤(1)：原始数据的处理，将标记数据与未标记数据分离开来；

步骤(2)：基于k-means聚类的相似度收敛算法，对步骤(1)中分离出来的未标记数据进行聚类，k值由聚类结果与标记数据中的量少类的相似度计算结果确定，进而确定相似度最高的集合P'；

步骤(3)：将步骤2确定的集合P'扩充到标记数据P进行模型训练；

步骤(4)：通过召回率和F1值对步骤(1)的结果进行评价。

4.根据权利要求3所述的一种基于相似度的半监督学习数据分类算法，其特征在于，在步骤(1)中，原始数据分为有标记数据集合K与无标记数据集合D，有标记数据集合K分为正例P和负例N，正例P的数量＜负例N的数量，故P为量少类，N为量多类。将量少类P误分为量多类N的损失是高于量多类N误分为量少类P的，即Cost(P,N)Cost(N,P)，其中Cost(i,j)表示类别i误分为j的损失；无标记数据集合D划分为D＝{D₁,D₂,···,D_k}，其中k为聚类的数目。

5.根据权利要求3所述的一种基于相似度的半监督学习数据分类算法，其特征在于，在步骤(2)中，k-means聚类算法如下；

其中

其中，k值为聚类数目，D_i(i＝1,...,k)是未标记数据D根据k值的划分的集合，x是D_i中的样本点，μ_i是D_i的中心。数据集D与数据集P之间的距离计算公式：

其中j＝1,...,|D_i|，为D_i中的第j个样本点；Distance(P,D_i)收敛，停止k值的增加，D_i为要找的P'。

6.根据权利要求3所述的一种基于相似度的半监督学习数据分类算法，其特征在于，在步骤(4)中，召回率为样本中有多少正例被预测正确，计算公式如下：

其中TP为真正例，FN为假反例；

F1值兼顾召回率与查准率，计算公式如下：

其中，Recall为召回率，Precision为查准率，Precision＝TP/(TP+FP),其中TP为真正例，FP为假正例。