[发明专利]一种基于邻域粗糙集的文本特征约简方法

说明书

本发明涉及一种基于邻域粗糙集的文本特征约简方法，包括以下步骤：将进行特征简约的文本进行预处理；其中预处理的方式至少包括中文分词、去停用词；用TF‑IDF算法计算预处理后文本中特征词项的权值，并构造文本决策系统；定义邻域，并求出每个词频下的邻域，判断并输出正域，从中寻找最大正域；根据最大正域计算词频重要度，如果词频重要度满足预设条件，则放入约简集合。通过本发明，提高了邻域粗糙集在文数据中的约简精度，改进邻域的计算方法，构建新的邻域关系，更好的刻画词项之间的关系，使得约简快速准确。

技术领域

本发明涉及文本处理技术领域，更具体地说，涉及一种基于邻域粗糙集的文本特征约简方法。

背景技术

随着数字信息技术的迅猛发展，在大数据的浪潮下，互联网数据急速膨胀，网络文学、网络新闻、博客、微博等为代表的长文本快速增长，互联网文本数量庞大，获取方便，同时蕴含丰富的信息内容。为了快速找到自己想要了解的新闻内容，需要文本挖掘技术准确的挖掘出新闻信息要表达的核心内容，以及词项之间隐藏的深层含义。文本特征提取是文本挖掘的基本任务，文本特征提取的准确与否直接影响之后文本聚类、推荐算法等算法的性能。邻域粗糙集是常用的特征提取算法之一，主要作用是数据的约简，因其不需要先验知识而保持算法的客观性，以及强大的约简功能广泛的应用于各个领域。邻域粗糙集是根据邻域关系对数据进行划分，并不具有严格的等价关系，同时，数据属性之间的关系往往不是独立的，因此也会影响约简的结果。

在语料库中，每个词的出现包含不同的信息。信息论上由不确定性的大小来衡量每个词包含的信息量，不确定性越大，信息量也就越大；而从词频的角度来说，每个词出现的次数有显著的差异，其重要度也不同。对于给定的文本，每个句子当中词和词之间还存在依存关系，包括从属、并列、递进等关系，仅从信息量和词频的角度不足以准确的表示文本所要表达的含义，因此，语义关系往往不能忽略。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于邻域粗糙集的文本特征约简方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于邻域粗糙集的文本特征约简方法，包括：

将进行特征简约的文本进行预处理；其中预处理的方式至少包括中文分词、去停用词；

用TF-IDF算法计算预处理后文本中特征词项的权值，并构造文本决策系统；

定义邻域δ-，并求出每个词频下的邻域，判断并输出正域，从中寻找最大正域；

根据最大正域计算词频重要度，如果词频重要度满足预设条件，则放入约简集合。

其中，构造文本决策系统为：

TDS＝(TU,TC∪D，V,f)，其中，TU＝D₁∪D₂∪...∪D_n，词频属性子集B＝{a₁,a₂,...a_n}，词频矩阵中且i,j∈n，定义x,y的在词频向量下的邻域δ-为：邻域半径为δa_i。

其中，预设的词频重要度满足条件为：

属性重要度参数η的计算方法如下，将属性集合与约简集合的差值应该控制在指定范围内，从而控制正域的选择，提高约简效率，θ是一个调节参数；

其中，θ为调节参数。

其中，TF-IDF是以特征词项在文档中出现的次数与包含该词项的文档数之比作为该词的权值，具体计算公式如下：