[发明专利]一种基于互信息的文本分类的特征提取方法

权利要求书

1.一种基于互信息的文本分类的特征提取方法，其特征在于：包括以下步骤：

(a)对训练文本进行预处理：

建立停用词词库和训练文本集，将数据集中的训练文本进行分词，分词后根据停用词词 库，过滤掉停用词，对分词后的文本进行词性标注；

(b)对预处理后的文本进行特征提取：

根据步骤(a)预处理后的文本，根据公式(1)和(2)计算剩下的词项和每个类别的 互信息，

公式(1)为：

I(U;C)=Σet∈{1,0}Σec∈{1,0}P(U=et,C=ec)log2P(U=et,C=ec)P(U=et)P(C=ec)]]>

其中，U是词项，C是类别；U、C都是二值随机变量，当文档包含词项t时，U的取值 为et＝1，否则et＝0；当文档属于类别c时，C的取值ec＝1，否则ec＝0，

若使用最大似然估计时，上面的概率值都是运用阿里计算；于是实际计算公式如下：

公式(2)为：

I(U;C)=N11Nlog2NN11N1.N.1+N01Nlog2NN01N0.N.1+N10Nlog2NN10N1.N.0+N00Nlog2NN00N0.N.0]]>

其中N_xy表示x＝et和y＝ec情况下对应的文档数目；

对每一个类别计算其各个词项与其的互信息，并选取值最大的k个词项；

将各个类别之间的重复词进行删除；筛选得出特征词；

(c)对特征词赋予权值：

经过步骤(b)得到特征词，计算每个特征词在文档中出现的频度，统计全部的文档数， 包含每个特征词的文档数，根据公式(5)计算每个特征的权重，

公式(3)为：

TF-IDF计算公式：d*log(N/t)

其中为特征(词条)t_i在文档d中的频度，N为全部的文档数量，为包含词条t_i的文档数， 为一常量，其值通常取0.01，为反文档频率，分母是归一化因子，基于训练文本集，利用 特征评估函数TF-IDF对每个特征词t进行评分；

(d)SVM模型训练与预测

把文档向量化，使之转化为词向量；向量的第一维表示文档的类别，第二维到第K维 表示特征词以及其权重；将此向量投入到SVM模型中，训练出模型参数，之后进行文本预 测。