[发明专利]一种基于互信息的文本分类的特征提取方法

说明书

技术领域

本发明属于自然语言处理的技术领域，具体为一种基于互信息的文本分类的特征提取 方法。

背景技术

随着互联网，多媒体以及存储技术的高速发展，越来越多的信息(特别是多媒体信息) 正在生成、传播和积累。互联网使得信息传播更加容易，个人用户可以非常方便地找到并 且下载他们想要的信息。大容量的硬盘可以存储更多信息。不包括万维网上的信息资源， 即使是PC上积存的文件数量可能都有几十千兆。如何有效管理和方便利用这些信息对个 人用户来说是个大问题。据统计，虽然目前互联网上的多媒体信息越来越多，然而在可预 见的未来，文本信息仍然是最重要的信息源，随之而来的，文本信息处理技术的发展非但 没有因为多媒体信息数量的迅速增长停滞，反而呈现出蓬勃发展的趋势。文本分类技术是 组织管理文本信息的有力手段。文本分类从20世纪60年代就已经出现，但直到20世 纪90年代后才逐渐成为研究热点。机器学习逐渐成为主要的处理方法。它能自动的从预 先分类的文本集中学习各个类别的特征，构建自动分类器。它具有节省人力和效果良好的 特点。因此，目前绝大多数研究都是针对基于机器学习的文本分类方法。

文本分类的基本任务是：根据文档的内容确定文档与已给定的类别之间的关系。即从给 定的类别集中寻找最适合当前文档的类别。这种文档与类别之间的联系可以看作是一个映 射，显然的，由于文档可以属于多个类别，该映射既可以是一一映射，也可以是一对多的 映射。映射规则通过对已给定的训练文档集和类别集的学习确定，根据学习方法的不同， 映射规则也有差异。系统遇到新进文档时，通过映射规则确定文档对应的类别。文本分类 的难点在于文本的内容是自然语言，这使得计算机难以从语义上对文本进行处理。目前， 各国学者利用统计分析，机器学习，数据挖掘等领域的方法对其进行处理，通过对文本信 息进行基于内容的分类，自动生成便于用户使用的文本分类系统,从而可以大大降低组织整 理文档耗费的人力资源，帮助用户快速找到所需信息。因此，如何能够有效地避免将噪声 特征纳入机器学习流程，提高了文本分类的精度领域最重要的研究方向之一。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够有效地避免将噪声特征纳入机器 学习流程，提高了文本分类的精度的基于互信息的文本分类的特征提取方法。

为了解决上述技术问题，本发明采用以下技术方案：一种基于互信息的文本分类的特 征提取方法，包括以下步骤：

(a)对训练文本进行预处理：

建立停用词词库和训练文本集，将数据集中的训练文本进行分词，分词后根据停用词词 库，过滤掉停用词，对分词后的文本进行词性标注；

(b)对预处理后的文本进行特征提取：

根据步骤(a)预处理后的文本，根据公式(1)和(2)计算剩下的词项和每个类别的 互信息，

公式(1)为：