[发明专利]基于补集特征的贝叶斯文档分类方法、装置、设备及介质

说明书

本发明实施例公开了一种基于补集特征的贝叶斯文档分类方法、装置、设备及介质，所述方法包括：对待分类文档进行分词处理，并确定所述待分类文档的特征词；基于预先标注好类别的文档语料计算所述待分类文档中每个特征词的权重；根据所述权重基于待分类文档的补集特征计算所述待分类文档中每个特征词属于各类别的最大似然概率；根据所述最大似然概率确定所述待分类文档的归属类别。通过采用上述技术方案，有效解决了由于样本类别数量不均衡导致的文档分类结果不准确的问题，提高了文档分类的准确度。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于补集特征的贝叶斯文档分类方法、装置、设备及介质。

背景技术

随着互联网信息的发展，文档分类的速度和精度显得越来越重要。文档分类极大的解决了网上信息杂乱无章的问题，且通过文档分类能够使用户快速且准确定位到自己所需要的信息。文档分类是通过一种分类模型或者函数，利用大量带有标记的训练样本，将待分类文档映射到指定的样本类别。

在现有的文档分类方法中普遍存在一种现象：由于各样本类别的训练样本不均衡导致分类时分类结果会偏向训练样本数量较多的样本类别。例如当某个样本类别的训练样本数量比其它样本类别的训练样本数量多出很多时，在模型训练的时候，会对训练样本数量较多的样本类别的特征进行较多的学习，而对于训练样本数量较少的样本类别的特征学习的则较少，因此，当对一个新的文档进行分类的时候，分类结果会偏向训练样本数量较多的样本类别，导致对待分类文档进行错误分类，分类的准确度不高。

发明内容

本发明实施例提供一种基于补集特征的贝叶斯文档分类方法、装置、设备及介质，所述分类方法有效解决了由于样本类别数量不均衡导致的文档分类结果不准确的问题，提高了文档分类的准确度。

为实现上述目的，本发明实施例采用如下技术方案：

第一方面，本发明实施例提供了一种基于补集特征的贝叶斯文档分类方法，所述方法包括：

对待分类文档进行分词处理，并确定所述待分类文档的特征词；

基于预先标注好类别的文档语料计算所述待分类文档中每个特征词的权重；

根据所述权重基于待分类文档的补集特征计算所述待分类文档中每个特征词属于各类别的最大似然概率；

根据所述最大似然概率确定所述待分类文档的归属类别。

进一步的，所述基于预先标注好类别的文档语料计算所述待分类文档中每个特征词的权重，包括：

按照如下公式计算所述待分类文档中每个特征词的权重：

其中，word_ij表示待分类文档i中特征词j的权重，w_ij表示待分类文档i中的特征词j，w_kj表示文档语料中第k篇文档中的特征词j，表示特征词w_ij在待分类文档i中出现的次数，表示特征词w_kj在第k篇文档中出现的次数，N表示文档语料中文档的总数，表示文档语料中包含特征词w_ij的文档总数，表示文档语料中包含特征词w_kj的文档总数，所述文档语料中包含至少两个类别，每个类别下包含至少一个文档。

进一步的，所述根据所述权重基于待分类文档的补集特征计算所述待分类文档中每个特征词属于各类别的最大似然概率，包括：

按照如下公式计算所述待分类文档中每个特征词属于各类别的最大似然概率：