[发明专利]一种文本精细分类方法

摘要

本发明提供了一种文本精细分类方法，属于计算机自然语言处理或模式识别技术领域，解决现有文本分类方法针对短文档精细类别划分准确率低的问题。本发明首先根据已知训练样本，构造两级分类器，每一级分类器都包含独立的敏感词典；其次，对分类器的训练样本执行分词、去除专用停顿词、同义词网映射等操作，实现词向量的预处理；再次，根据词向量的重要性差异进行特征选择，构建分类器的敏感词典；再次，利用KNN算法计算目标文档的精细分类结果；最后，对分类结果进行评价与反馈，动态优化敏感词典，进一步提高分类准确率。实验证明，针对短文档，采用本文的文本精细分类方法，可以显著提高精细分类的准确率。

主权项

一种文本精细分类方法，其特征在于，包括两级分类器构造步骤、词向量预处理步骤、敏感词典构建步骤、文本精细分类步骤和评价与反馈步骤，其中：(1)两级分类器构造步骤：根据应用需求和原始文档集数据分布，将分类器划分为M个一级分类器和N个二级分类器，每个一级分类器C_i都至少包含一个以上的二级分类器C_j，每个二级分类器都从属于某个一级分类器；其中N>＝M；i＝1,...,M；j＝1,...,N；(2)词向量预处理步骤：对分类器的训练样本进行词向量的预处理，包括对分类器的训练样本执行中文分词、去除专用停顿词和同义词网映射；(3)敏感词典构建步骤：通过对预处理后得到的词向量进行特征选择和人工标注相结合方式，分别为每一个分类器构建独有的敏感词典；(4)文本精细分类步骤：利用步骤(3)得到各级分类器的敏感词典，输入测试文档，将其与两级分类器进行匹配计算，得到最终的分类结果；(5)评价与反馈步骤：对步骤(4)得到的分类结果进行评价，并跳转到步骤(3)，根据反馈的评价对分类器的敏感词典进行动态优化。