[发明专利]基于特征二维信息增益加权的朴素贝叶斯文本分类方法

摘要

本发明提供基于特征二维信息增益加权的朴素贝叶斯文本分类方法。所述方法获取文档的特征词，根据不同的特征词出现的类别数和文档数，得到相应的特征类别概率和特征文档概率，进而得到特征的二维信息增益；由于信息增益具有反应特征对分类效果提升大小的作用，信息增益越大说明该特征越能表达该类的信息，把特征的二维信息相结合，提高了朴素贝叶斯文本分类器的性能；并且与TFIDF加权朴素贝叶斯文本分类算法、TFIDF*IGC文本分类算法相比，基于特征二维信息增益加权的朴素贝叶斯文本分类方法具有更好的鲁棒性，使其对所有类别的分类效果都能保持很好；在同等条件下，本发明的分类性能要优于传统改进的朴素贝叶斯文本分类方法。

主权项

1.基于特征二维信息增益加权的朴素贝叶斯文本分类方法，其特征在于，所述方法包括如下步骤：步骤A，根据贝叶斯定理计算得到后验概率P(Cj|Di)：式中，P(Cj)表示类别Cj出现的概率，Cj表示第j个类别；Di＝{t1,t2...tm}表示文档Di所包含的特征词，m表示特征词数量，i为自然数；P(Di)＝P(t1,t2...tm)表示各特征词的联合分布概率，是一个常数；P(Di|Cj)为文档Di属于类别Cj的概率；所述朴素贝叶斯文本分类的过程就是求解P(Cj|Di)最大值的过程，根据特征独立性假设，求解转化为：式中，tk∈{t1,t2...tm}表示文档Di包含的特征词，1≤k≤m；表示求表达式的最大值；C＝{C1,C2,...,Cj,...,CV}，j表示自然数，V表示总的类别数；Cmap表示最终的分类结果，其值等于P(Cj|Di)的最大值；表示对表达式求积；P(tk|Cj)表示特征词tk属于类别Cj的概率；步骤B，计算特征类别概率P(tk,Cj)：tf(tk,Cj)表示特征词tk在Cj类中的出现的频数；L＝0.01为平滑因子；步骤C，计算特征文档概率：其中，表示含有特征词t_k的文档；表示含有特征词t_k的文档在类别C_j中出现的篇数；L＝0.01为平滑因子，V表示总的类别数；步骤D，计算特征类别信息增益IGC:步骤E，计算特征文档信息增益IGD：其中，lb(·)表示以2为底的对数；E(Cj)为类别Cj的信息熵；E(Cj|tk)表示特征词tk的类别条件信息熵；表示特征词t_k的文档条件信息熵；P(t_k,C_j)，分别为上文求出的特征类别概率和特征文档概率；步骤F，进行线性归一化处理，得到特征二维信息增益：其中，max(·)表示求表达式的最大值；min(·)表示求表达式的最小值；步骤G，对朴素贝叶斯模型进行加权，得到加权朴素贝叶斯模型：其中，Wk表示对应特征词tk的加权值，作为条件概率的幂次方；由于大多数的概率都很小，为了避免出现下溢，对决策规则取对数：其中ln表示自然对数；步骤H，将特征二维信息增益与加权朴素贝叶斯模型结合，得到基于特征二维信息增益加权的朴素贝叶斯文本分类方法的模型：