[发明专利]基于HDBSCAN聚类的文本分类自适应过采样方法

权利要求书

1.一种基于HDBSCAN聚类的文本分类自适应过采样方法，其特征在于，包括以下步骤：

首先，将文本分类不平衡数据集分为训练集和测试集，选取数据集的70％作为训练集；其次，利用HDBSCAN基于分层密度的噪声应用空间聚类技术对训练集中的少数类样本进行聚类，得到互不相交且不同规模的集群；

随后，计算每个集群的稀疏度和对应的文本分类采样样本数量；

然后，根据每个集群的稀疏度和采样数量自适应地合成新的样本，在合成样本的时候，选择在集群中隶属度高的样本邻域中进行插值合成新的样本，用于保证新的样本点靠近集群中心，在稀疏度高的集群中自适应合成更多的文本分类样本，相应的越密集的集群合成更少的文本样本；

最后，多数类数据集和新的少数类数据集组成平衡训练数据集，使用K-NN分类算法在此平衡训练数据集进行学习，利用测试数据集对学习后的分类器进行测试，并统计预测标签的准确率。

2.根据权利要求1所述的一种基于HDBSCAN聚类的文本分类自适应过采样方法，其特征在于，所述将文本分类不平衡数据集分为训练集和测试集，选取数据集的70％作为训练集，具体包括：输入一个不平衡的据集为T，少数类集合为P，多数类集合为N，P＝{p₁,p₂,...,p_pnum}，N＝{n₁,n₂,...n_nnum}，其中pnum和nnum分别是少数类样本数量和多数类样本数量，将数据集T随机划分为70％的训练集和30％的测试集。

3.根据权利要求2所述的一种基于HDBSCAN聚类的文本分类自适应过采样方法，其特征在于，所述利用HDBSCAN基于分层密度的噪声应用空间聚类技术对训练集中的少数类样本进行聚类，得到互不相交且不同规模的集群，具体包括：

HDBCAN基于分层密度的噪声应用空间聚类首先根据密度对数据集P空间进行变换，求出所有样本点的最小生成树，然后对变换后的空间进行单连锁聚类，最后在不同高度对树进行切割，根据集群的稳定性选择不同密度的集群；由此得到不同规模的集群c₁,c₂,...,c_m和噪声集群N，并且得到每个集群的成员隶属度矩阵w_ij，0＜i≤m，0＜j≤|c_i|，删除噪声集群N并计算剩余少数类样本总数，N_min＝pnum-|N|。

4.根据权利要求3所述的一种基于HDBSCAN聚类的文本分类自适应过采样方法，其特征在于，所述计算每个集群的稀疏度具体包括：

遍历所有的集群c₁,c₂,...,c_m，根据以下公式计算出每个集群的稀疏度Sparsity(c_k)；

首先对每个少数类集群c_k构建一个欧式距离矩阵D_k，1≤k≤m，其中d_ij表示集群中少数类样本x_i到x_j的欧式距离，然后利用距离矩阵计算每个集群c_k的平均距离，计算公式如下：

其中n为每个集群的样本总个数，这里只需要用到距离矩阵D_k中的下对角线元素，因为d_ij和d_ji表示的距离是一样的，最后利用集群的平均距离计算出该集群的稀疏度，计算公式如下：

根据上式可以发现Sparsity(c_k)越大，表示集群c_k越稀疏，Sparsity(c_k)越小表示集群c_k越密集。

5.根据权利要求4所述的一种基于HDBSCAN聚类的文本分类自适应过采样方法，其特征在于，所述计算集群的稀疏度对应的采样样本数量，具体包括：计算所有集群的稀疏度之和；计算每个集群的采样权重；根据采样权重和多数类样本数与少数类样本数的差值，计算每个少数类集群需要合成的样本量。