[发明专利]一种基于位置信息的文档集的特征词提取方法及系统

权利要求书

1.一种基于位置信息的文档集的特征词提取方法，其特征在于，其包括：

A、对文档集进行空间向量模型处理；

B、获取每个特征词在每篇文档中的文档位置信息，并根据所述文档位置信息计算所述文档位置信息权重；

所述文档位置信息为：

特征词所处段落位于所属文档的段落位置信息和特征词位于所属段落的特征词位置信息；

所述步骤B具体包括：

B1、获取所述空间向量模型中每个特征词所属段落位于所属文档的段落位置信息及所述特征词位于所属段落的特征词位置信息；

B2、将所述文档划分为若干部分，计算所述段落位置信息对于每一部分的权重，并将每一部分的权重求和得到段落位置信息权重；

B3、将所述段落划分为若干部分，计算所述特征词位置信息对于每一部分的权重，并将每一部分的权重求和得到特征词位置信息权重；

所述段落位置信息权重的计算公式如下：

W_{段落-文档}＝α₁I(k＜＝ceil(K*p₁))+...+α_aI(ceil(K*p_a-1)＜k＜＝ceil(K*p_a))

其中，K表示文档段落总数，按段落顺序将段落标记为1，2，...k，...K；I(·)为示性函数；ceil(x)表示取整函数；α₁，...，α_a表示权重系数且为正整数，p₁，...，p_a表示权重分位数且为常数，a表示将文档划分部分数，按划分部分的顺序记为1，...，a；

所述特征词位置信息权重的计算公式如下：

W_{特征词→段落}＝β₁I(J_kt＜＝ceil(J_k*q₁))+...+β_bI(ceil(J_k*q_b-1)＜J_kt＜＝ceil(J_k*q_b))

其中，t表示特征词；K表示文档集段落总数，按段落顺序将段落标记为1，2，...k，...K；J_k表示k段落包含的词语数量，按词语顺序给予编号J₁，...，J_k；J_kt记特征词出现的段落编号；I(·)为示性函数，ceil(x)表示取整函数；β₁，...，β_b为权重系数且为正整数，q₁，...，q_b表示权重分位数且为常数；b表示将段落拆分部分数，按划分部分的顺序记为1，...，b；

C、根据所述文档位置信息权重采用加权词频计算特征词在文档集的TF-IDF权重，并对所述TF-IDF权重进行排序获取文档集的特征词。

2.根据权利要求1所述基于位置信息的文档集的特征词提取方法，其特征在于，所述步骤A之后还包括：

A0、预先构建停词词典，根据所述停词词典对待提取特征词的文档集进行停词、去停词处理，获取特征词候选文档集。

3.根据权利要求1所述基于位置信息的文档集的特征词提取方法，其特征在于，所述步骤C具体包括：

C1、根据所述段落位置信息权重和特征词位置信息权重采用加权计算所述特征词的词频，并计算所述特征词的逆向文档集频率；

C2、根据所述词频及逆向文档集频率计算所述特征词的TF-IDF权重；

C3、将所述特征词的TF-IDF权重按照从大到小的顺序进行排序，并提取特征词。