[发明专利]一种基于MPI的ML-KNN多标签中文文本分类方法

摘要

本发明请求保护一种基于MPI的ML‑KNN多标签中文文本分类方法，涉及文本分类和机器学习中的多标签分类算法。为解决ML‑KNN算法在具体实现中大规模文本分类问题和求解优化问题，控制计算的时间和空间的开销，本发明采用的技术方案是，采用MPI编程实现中文文本数据的预处理、特征提取、ML‑KNN算法及分类的并行化。相比传统的串行多标签中文文本分类方法，本发明极大的提高了多标签中文文本分类的效率。同时，在数据量一定的情况下，算法的效率一般会随着计算资源(进程数)的增加而增加。值得一提的是，在基于MPI并行化ML‑KNN步骤中，对数据集进行划分时既可以以样本为单位划分，又可以以特征为单位划分，这使得本发明在处理高维文本数据的时候，具有更大的优势。

主权项

一种基于MPI的ML‑KNN多标签中文文本分类方法，其特征在于，包括以下步骤：1)对训练集和待预测数据集中的所有文本进行预处理，包括分词，去停用词及去低频词在内的步骤；2)对预处理后的训练集进行特征词汇提取得到特征词汇表，再根据特征词汇表对训练集和待预测数据集作文本矢量化表示；3)构造分类器并分类:首先基于并行编程模型MPI将ML‑KNN算法并行，然后使用训练集对并行后的ML‑KNN分类器进行训练，最后使用训练好的ML‑KNN分类器对待预测文本数据集进行分类，得到待预测文本数据集分类结果。