[发明专利]基于词语位置的关键字权值计算方法

说明书

技术领域

本发明涉及数字出版物技术领域，尤其涉及到一种基于词语位置的关键字权值计算方法。

背景技术

关键字就是用户在使用搜索时输入的、能够最大程度概括用户所要查找的信息内容的字或者词，是信息的概括化和集中化。在出版行业谈到的关键字，往往是指文章的核心和主要内容。

目前在出版物的文章中，句子在文章中出现的位置能够反映句子的重要程度，同理词语在文章中的出现位置也能反映词语在文章中的重要程度，很多情况下，重要词语都出现在摘要、文章段落首句，因此词语的位置可以作为权值计算的一个因素。

目前关键字权值的计算方式大多是基于词频的，并没有将词语位置的因素考虑在关键字权值计算的影响因子中。

发明内容

本发明所要解决的技术问题是正对上述存在的技术不足，提供一种能够准确计算出词语的权重参数，有利于关键词的分析，方便读者对文章的内容进行理解和记忆的基于词语位置的关键字权值计算方法。

本发明解决其技术问题所采用的技术方案是：

基于词语位置的关键字权值计算方法，其特征在于，包括如下步骤：

文档预处理：在计算机系统中，对于提供的文档利用工具转化为pdf格式，进行预处理获取文本信息；采用解析工具将pdf文档的页面进行解析，解析之后可以获取到pdf文档的所有页面数据，通过目录、段落特征识别出目录页以及页面段落，并将这些数据合理的存储方便分词等后续处理调用。

关键字提取：对文档预处理之后的文本信息提取关键字，对照现有的关键字表，以段落为单位对文档的每一页的每一段进行关键字提取，并存入计算机系统。

获取影响因子：对提取出来的关键字获取权值因子；一方面获取基础权值；另一方面标识出摘要、文章段落首句中的词语。

加权计算：把获取到的影响因子作为权值计算因子进行最终权值计算。

输出关键字权值表：给出关键字的最终权值列表。

在上述方案中，所述的提取关键字具体为：采用ansj分词组件对pdf内容按段落分词并抽取出段落关键字。

在上述方案中，所述的获取权值因子详细步骤为：

获取基础权值：通过ansj提供的权值计算接口或者Lucene等权值计算接口对提取出来的关键字计算权值得到基础权值f。

标识出摘要、文章段落首句中的词语：通过摘要段、和文章段落特征识别出摘要和段落并标识出对应的摘要关键字、和段首关键字。

在上述方案中，所述的加权计算具体步骤：在基础权值的基础上对段首和摘要标识的词语加权处理，最终得到带位置加权的权值。

权值计算公式：W_k(f_k,a_k,h_k)＝f_k+f(a_k)+g(h_k)