[发明专利]一种文档分类方法及装置

说明书

本发明提供了一种文档分类方法及装置，创建分类语料库，将分类语料库划分为训练集和测试集，通过根据分类语料库对应的词典从训练集和测试集的每个文档中提取文档特征向量，提高了文档特征提取的准确性，在此基础上，通过利用训练集的文档特征向量对多个机器学习模型进行训练，并根据测试集的文档特征向量对每个训练得到的分类模型的分类效果进行评价，将分类效果最好的分类模型作为最终的文档分类模型，最后利用该文档分类模型进行文档分类，提高了文档分类的准确性。

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种文档分类方法及装置。

背景技术

随着电力技术的发展，电力行业文档的数量越来越多，种类也越来越繁杂。为了便于挖掘海量文档中有价值的数据，需要对文档进行准确分类。

目前文档分类主流技术有两种。一种是规则法，是指由专业人员为每个类别定义大量的推理规则，如果一个文档能满足某个推理规则，则可以判定为该文档属于对应的类别。但是规则法分类的质量依赖于规则的好坏，而规则需要大量的专业人员进行制定，人工投入大且质量不稳定，不同的领域需要构建完全不同的分类系统，不具备可推广性。第二种是机器学习方法，以统计理论为基础，利用算法对事先准备好分类语料做统计分析从而获得规律，构建出“分类模型”，再运用该“分类模型”对未知文本做所属分类的预测分析，实现自动分类。但是，机器学习方法分类效果依赖于模型的训练效果，如何训练出有效的分类模型成为本领域亟需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种文档分类方法及装置，通过训练有效的分类模型，提高了文档分类的准确性。

为了实现上述发明目的，本发明的有益效果如下：

一种文档分类方法，包括：

创建分类语料库，并将所述分类语料库划分为训练集和测试集，所述分类语料库包括多个已标注文档类型的文档；

根据所述分类语料库对应的词典，分别从所述训练集和所述测试集的每个文档中提取文档特征向量，所述词典包括所述分类语料库中所有文档的有效分词；

基于所述训练集中每个文档的文档特征向量分别对多个机器学习模型进行训练，得到每个所述机器学习模型对应的分类模型；

利用所述测试集中每个文档的文档特征向量和已标注文档类型，分别对每个所述分类模型的分类效果进行评价，得到每个所述分类模型的评价指标值；

根据每个所述分类模型的评价指标值，确定最终的文档分类模型；

利用最终的文档分类模型进行文档分类。

可选的，所述根据所述分类语料库对应的词典，分别从所述训练集和所述测试集的每个文档中提取文档特征向量，包括：

分别对所述训练集和所述测试集的每个文档进行分词处理；

根据所述词典，对分词处理后的每个文档进行向量化处理，得到所述训练集和所述测试集中每个文档的文档特征向量。

可选的，所述分别对所述训练集和所述测试集的每个文档进行分词处理，包括：

分别对所述训练集和所述测试集的每个文档进行分词处理；

根据预先设定的停用词表，剔除所述训练集和所述测试集中每个文档的分词结果中的停用词，得到所述训练集和所述测试集中每个文档的有效分词。

可选的，所述根据所述词典，对分词处理后的每个文档进行向量化处理，得到所述训练集和所述测试集中每个文档的文档特征向量，包括：

将所述训练集和所述测试集中每个文档转换为一个多维向量，多维向量的维数与所述词典的总词数相同，多维向量每个维度分别对应所述词典中的一个词；