[发明专利]大规模文本分类的方法

摘要

大规模文本分类的方法涉及计算机领域，为实现兼顾精度的大规模学习，需要通过构建具有最大差异性的多个分类器及实现多个分类器的高效集成决策来实现。该大规模文本分类的方法包括将文本数据转换为向量数据，分割大规模文本数据集为子集；以分布式计算的方法使用子集训练子分类器；选择分类器；对待测样本进行分类，实现多分类器共同决策。本发明将集成学习框架应用于大规模文本分类上，可以使现有的分类方法适用于大规模文本分类，提高分类效率。

主权项

一种大规模文本分类的方法，其特征在于步骤如下：步骤1：将文本数据转换为向量数据：将文本数据转换为TF‑IDF向量数据，使文本数据成为多维向量数据；步骤2：分割大规模文本数据集为子集；步骤3：以分布式计算方法训练子分类器：根据样本分割结果，以各个子集分别训练各自的子分类器；具体包括训练过程中采用分布式计算的方式，由多台电脑同时负责子分类器的训练，提高大规模文本数据集训练分类器的效率；步骤4：选择分类器处理待测样本：根据测试样本的向量数据，选取所需的子分类器对测试样本进行分类；具体包括：当测试样本D进行分类时，首先通过D的向量信息，选取距离D最近的数个子集所对应的子分类器，组成子分类器集合距离计算公式为之后选取子分类器与D的夹角余弦最小的1‑2个子分类器加入集合M；然后对M中的各子分类器给予不同的权重，权重依据子集与D的距离而定，w(i)＝∑c(i)/c(i)，w为权重，c为距离，i为M中的子分类器序号，之后使用M中的各子分类器对D进行分类，投票决策结果取决于各分类器对待测样本的分类结果的权重和，将结果按照类别，把权重相加，取权重最大的类别作为待测样本的结果；步骤5：多个子分类器共同决策：这是集成学习方法在大规模文本分类中的应用，为实现兼顾精度的大规模文本分类，通过构建具有大差异性的多个子分类器，并实现多个子分类器对测试样本共同决策。