[发明专利]一种基于互信息的文本分类的特征提取方法

摘要

本申请公开了一种基于互信息的文本分类的特征提取方法。文本预处理工作主要包括去除文档标记、去停用词、分词、词性标注、统计词频及数据清洗等，以及根据特征算法提取特征词。文本分类阶段主要是对向量化的训练集通过支持向量积算法训练模型参数，从而对需要分类的文本进行机器学习分类。应用本申请方案，在文本分类的特征提取时，能够有效地避免将噪声特征纳入机器学习流程，提高了文本分类的精度，同时极大地缩减了特征库规模，降低了内存占用。

主权项

一种基于互信息的文本分类的特征提取方法，其特征在于：包括以下步骤：(a)对训练文本进行预处理：建立停用词词库和训练文本集，将数据集中的训练文本进行分词，分词后根据停用词词库，过滤掉停用词，对分词后的文本进行词性标注；(b)对预处理后的文本进行特征提取：根据步骤(a)预处理后的文本，根据公式(1)和(2)计算剩下的词项和每个类别的互信息，公式(1)为：$I(U;C)=\underset{e_t\∈\{1,0\}}{\Σ}\underset{e_c\∈\{1,0\}}{\Σ}P(U=e_t,C=e_c){\log }_2\frac{P(U=e_t,C=e_c)}{P(U=e_t)P(C=e_c)}$其中，U是词项，C是类别；U、C都是二值随机变量，当文档包含词项t时，U的取值为et＝1，否则et＝0；当文档属于类别c时，C的取值ec＝1，否则ec＝0，若使用最大似然估计时，上面的概率值都是运用阿里计算；于是实际计算公式如下：公式(2)为：$\begin{array}{c}I(U;C)=\frac{N_{11}}{N}{\log }_2\frac{{\mathrm{NN}}_{11}}{N_{1.}{N}_{.1}}+\frac{N_{01}}{N}{\log }_2\frac{{\mathrm{NN}}_{01}}{N_{0.}{N}_{.1}}\\ +\frac{N_{10}}{N}{\log }_2\frac{{\mathrm{NN}}_{10}}{N_{1.}{N}_{.0}}+\frac{N_{00}}{N}{\log }_2\frac{{\mathrm{NN}}_{00}}{N_{0.}{N}_{.0}}\end{array}$其中N_xy表示x＝et和y＝ec情况下对应的文档数目；对每一个类别计算其各个词项与其的互信息，并选取值最大的k个词项；将各个类别之间的重复词进行删除；筛选得出特征词；(c)对特征词赋予权值：经过步骤(b)得到特征词，计算每个特征词在文档中出现的频度，统计全部的文档数，包含每个特征词的文档数，根据公式(5)计算每个特征的权重，公式(3)为：TF‑IDF计算公式：d*log(N/t)其中为特征(词条)t_i在文档d中的频度，N为全部的文档数量，为包含词条t_i的文档数，为一常量，其值通常取0.01，为反文档频率，分母是归一化因子，基于训练文本集，利用特征评估函数TF‑IDF对每个特征词t进行评分；(d)SVM模型训练与预测把文档向量化，使之转化为词向量；向量的第一维表示文档的类别，第二维到第K维表示特征词以及其权重；将此向量投入到SVM模型中，训练出模型参数，之后进行文本预测。