[发明专利]一种基于位置信息的文档集的特征词提取方法及系统

说明书

本发明公开了一种基于位置信息的文档集的特征词提取方法及系统，其对文档集进行空间向量模型处理；获取每个特征词在每篇文档集中的文档位置信息，并根据所述文档位置信息计算所述文档位置信息权重；根据所述文档位置信息权重采用加权词频计算特征词在文档集的TF‑IDF权重，并对所述TF‑IDF权重进行排序获取文档集特征词。本方法在TF‑IDF权重加入文档集位置信息权重，提高了文档集特征词提取的精准度，提高文档集自动化分类的准确度，降低人力纠正成本。

技术领域

本发明涉及文档集特征词提取技术领域，特别涉及一种基于位置信息的文档集的特征词提取方法及系统。

背景技术

信息时代每天信息不断增长，文档集的特征词选取就是从原始高维的特征词中选取具有代表意义的部分特征词，然后利用选取的特征词用以后续的文档集处理，以提高分类效率和解决分类器在高维情形下表现不稳定的缺点。

常用的特征词选取方法主要有，TF-IDF，信息增益，卡方检验，互信息等，其中IF-IDF方法形式简洁、结构简单，并且准确率较高。然而传统的TF-IDF方法主要以下不足：1)、没有充分考虑到文档段落在文档中的位置权重信息；2)、没有充分考虑特征词在段落内的位置权重信息。从而存在文档集的特征词提取精度不高，需要人工纠正的问题。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于位置信息的文档集的特征词提取方法及系统，其解决现有TF-IDF 特征词提取方法存在文档集的特征词提取精度不高，需要人工纠正的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种基于位置信息的文档集的特征词提取方法，其包括：

S1、对文档集进行空间向量模型处理；

S2、获取每个特征词在每篇文档集中的文档位置信息，并根据所述文档位置信息计算所述文档置信息权重；

S3、根据所述文档集位置信息权重采用加权词频计算特征词在文档集的TF-IDF权重，并对所述TF-IDF权重进行排序获取文档集的特征词。

所述基于位置信息的文档集的特征词提取方法，其中，所述步骤S1之后还包括：

S0、对文档集进行停词、去停词处理，获取特征词候选文档集。

所述基于位置信息的文档集的特征词提取方法，其中，所述文档位置信息为：

所述特征词所处段落位于所属文档的段落位置信息和所述特征词位于所属段落的特征词位置信息。

所述基于位置信息的文档集的特征词提取方法，其中，所述步骤S2具体包括：

S21、获取所述空间向量模型中每个特征词所述段落位于所属文档的段落位置信息及所述特征词位于所属段落的特征词位置信息；

S22、将所述文档划分为若干部分，计算所述段落位置信息对于每一部分的权重，并将每一部分的权重求和得到段落位置信息权重；

S23、将所述段落划分为若干部分，计算所述特征词位置信息对于每一部分的权重，并将每一部分的权重求和得到特征词位置信息权重。

所述基于位置信息的文档集的特征词提取方法，其中，所述段落位置信息权重的计算公式如下：

W_{段落-文档}＝α₁I(k＜＝ceil(K*p₁))+...+α_aI(ceil(K*p_a-1)＜k＜＝ceil(K*p_a))