[发明专利]基于HDBSCAN聚类的文本分类自适应过采样方法

摘要

本发明请求保护一种基于HDBSCAN聚类的自适应过采样方法，主要解决现有方法中利用完整数据信息的不平衡数据分类问题。所述技术的步骤为：(1)输入训练数据集；(2)对训练集中的少数类样本进行聚类得到不同规模且互不相交的集群；(3)计算每个少数类集群中需要合成的样本数量；(4)根据每个集群需要合成的样本数量自适应地合成新的样本得到新的少数类数据集；(5)多数类数据集和新的少数类数据集形成新的平衡数据集；(6)利用新的平衡数据集训练并测试分类器。本技术可有效避免不平衡数据集中噪声的产生并同时克服类间和类内不平衡问题，为不平衡学习提供了一种全新的过采样策略。

主权项

1.一种基于HDBSCAN聚类的自适应过采样方法，其特征在于，包括以下步骤：首先，将不平衡数据集分为训练集和测试集，选取数据集的70％作为训练集；其次，利用HDBSCAN基于分层密度的噪声应用空间聚类技术对训练集中的少数类样本进行聚类，得到互不相交且不同规模的集群；随后，计算每个集群的稀疏度和对应的采样样本数量；然后，根据每个集群的稀疏度和采样数量自适应地合成新的样本，在合成样本的时候，选择在集群中隶属度高的样本邻域中进行插值合成新的样本，用于保证新的样本点靠近集群中心，在稀疏度高的集群中自适应合成更多的样本，相应的越密集的集群合成更少的样本；最后，多数类数据集和新的少数类数据集组成平衡训练数据集，使用K‑NN分类算法在此平衡训练数据集进行学习，利用测试数据集对学习后的分类器进行测试，并统计预测标签的准确率。