[发明专利]基于词语位置的关键字权值计算方法

权利要求书

1.基于词语位置的关键字权值计算方法，其特征在于，包括如下步骤：

文档预处理：在计算机系统中，对于提供的文档利用工具转化为pdf格式，进行预处理获取文本信息，具体的可以用相应对应的文本解析工具；采用解析工具将pdf文档的页面进行解析，解析之后可以获取到pdf文档的所有页面数据，通过目录、段落特征识别出目录页以及页面段落，并将这些数据合理的存储方便分词等后续处理调用；

关键字提取：对文档预处理之后的文本信息提取关键字，对照现有的关键字表，以段落为单位对文档的每一页的每一段进行关键字提取，并存入计算机系统；

获取影响因子：对提取出来的关键字获取权值因子；一方面获取基础权值；另一方面标识出摘要、文章段落首句中的词语；

加权计算：把获取到的影响因子作为权值计算因子进行最终权值计算；

输出关键字权值表：给出关键字的最终权值列表。

2.如权利要求1所述的基于词语位置的关键字权值计算方法，其特征在于：所述的提取关键字具体为：采用ansj分词组件对pdf内容按段落分词并抽取出段落关键字。

3.如权利要求1所述的基于词语位置的关键字权值计算方法，其特征在于：所述的获取权值因子详细步骤为：

获取基础权值：通过ansj提供的权值计算接口或者Lucene等权值计算接口对提取出来的关键字计算权值得到基础权值f；

标识出摘要、文章段落首句中的词语：通过摘要段、和文章段落特征识别出摘要和段落并标识出对应的摘要关键字、和段首关键字。

4.如权利要求1所述的基于词语位置的关键字权值计算方法，其特征在于：所述的加权计算具体步骤：在基础权值的基础上对段首和摘要标识的词语加权处理，最终得到带位置加权的权值；

权值计算公式：W_k(f_k,a_k,h_k)＝f_k+f(a_k)+g(h_k)

f(ak)=ta×tf(tk,dj)×log(Nnk+0.01)Σj(tf(tk,dj)×log(Nnk))2×α]]>

g(hk)=ha×tf(tk,dj)×log(Nnk+0.01)Σj(tf(tk,dj)×log(Nnk))2×σ]]>

tf(t_k，d_j)文档j中词k的词语频度。

t_a：词k摘要中的词频。

h_a：词k在该段的词频。

α、σ：调和因子，根据大量统计测试得到的因子值。

t_k：词k在文章中出现的次数。

d_j：文档j中词汇总数。

N：总文档数。

n_k：含本词汇的文档数。