[发明专利]一种基于数据挖掘技术的文本多精度表示方法

说明书

技术领域

本发明涉及计算机文本自动处理领域中的一种基于数据挖掘技术的文本多精度表示方法，特别适用于任何语言的文本文档的文本搜索、文本聚类、文本摘要等诸多文本智能处理。

背景技术

目前对文本的表示通常采用向量空间模型，即从词汇表中抽取特征词构成一个公共表示空间一向量空间，然后把文档集合中的每一个文档表示在向量空间中。在向量空间模型中，是以单个词为处理对象的。并且，有一个重要的前提：假设词与词之间是相互独立的。在这种设计中，由于是以单个词为处理对象，这样就割裂了语言中词与词之间相互关联关系；同样，词与词之间相互独立这一假设也是不成立的。在现实语言中，词与词之间是相互关联的。因此，基于向量空间模型的文档表示有表示不清，文档间易于混淆等缺点。

发明内容

本发明所要解决的技术问题在于避免上述背景技术中的不足之处而提供一种基于数据挖掘技术的词关联挖掘算法，准确地从文本中抽取多层次文本特征，形成文本精确表示的基于数据挖掘技术的文本多精度表示方法。本发明利用数据挖掘算法充分发现文本中那些相互关联的且与文本中心内容紧密相关的词组合，这些词组合代表了与文本中心思想相关的概念，通过这些概念词组合对文档进行精确表示。本发明具有运算速度快，性能稳定，与文本所用语言无关，适用面广等特点。

本发明所要解决的技术问题由以下技术方案实现：

它包括步骤：

①对文本进行分词处理，停用词过滤处理；

②根据数据挖掘技术设计词关联挖掘算法，对分词及停用词过滤处理后的文本进行多层次文本特征抽取；

词关联挖掘算法包括步骤：给定一篇文档D，

抽取出D中所有的句子形成集合S＝{s₁，s₂，......s_n}，其中s₁，s₂，......s_n代表文档中的句子；

(1)D中出现的词构成集合C₁，统计C₁中各个词在句子中出现的频率，设定一个限定值R，把发生次数超过R的词放入集合L₁中，把未能进入L₁的词放入集合~L₁中；

(2)利用集合~L₁对S中的句子进行处理，其过程是去除每个句子中在~L₁中出现的词组合元素，经过处理的句子形成新的集合S_new；

(3)基于S_new中的每个句子，找出句中所有两个词的词组合，形成集合C₂，找出C₂中每个词组合在句子中出现的频率，把发生频率次数超过R的词组合放入L₂中，把未能进入L2的词组合放入~L₂中；

(4)利用集合~L₂对S中的句子进行处理，其过程是去除每个句子中在~L₂中出现的词组合元素，经过处理的句子形成新的集合S_new；

(5)基于S_new中的每个句子，找出句中所有三个词的词组合，形成集合C₃，找出C₃中每个词组合在句子中出现的频率，把发生频率次数超过R的词组合放入L₃中，把未能进入L₃的词组合放入~L₃中；

重复上述(5)、(6)步骤，直至找出所有满足限定值R的包含n个词的词组合特征，放入L_n中，n为大于3的整数，

集合L₁，L₂，......，L_n中的词组合就构成了文档D的多层次文本特征，多层次文本特征包括单个词特征、两词特征、三词特征及n个词的特征，n为大于3的整数；

多层次文本特征表示形式为：

单个词特征：{Word₁}，{Word₂}；

两词特征：{Word₁，Word₂}，{Word₃，Word₄}；