[发明专利]一种基于语义语气加权的倒排索引优化算法

说明书

本发明公开一种基于语义语气加权的倒排索引优化算法，本发明涉及文档情报处理技术领域，解决现有技术由于仅使用特定词词频索引而存在倒排索引精确度低和索引难度大的技术问题，以及解决现有技术由于关键词序列和语义加权词库存在重复而造成的语义加权无效或无法对倒排索引实现实质改变等技术问题。本发明主要结合文档语义语气特征，构建了全新的加权词频定义式，实现了倒排文档按照加权词频排序，不仅仅表现了关键词在文档中的词频密度，还反映了关键词的表意强烈程度，更能帮助搜索用户优先找到期望的文档。

技术领域

本发明涉及文档情报处理技术领域，具体涉及一种基于语义语气加权的倒排索引优化算法。

背景技术

目前搜索引擎，已经成为最常用的互联网工具，数据组织和索引也是情报学领域的研究热点。倒排文档模型根据词语频度，来反向查找关联情报，很好适应了搜索引擎的工作场景。但是单独基于词频，以及基于词频计算的权值排序策略，不能完整的反映该关键词在文档中的表意程度。

本发明基于语义和语气加权处理，进一步完整量化了关键词对文档表示的重要性，基于该加权词频的倒排文档索引方法，能更好的帮助用户找到对应的文档和情报。

发明内容

针对上述现有技术，本发明目的在于提供一种基于语义语气加权的倒排索引优化算法，解决现有技术由于仅使用特定词词频索引而存在倒排索引精确度低和索引难度大的技术问题，以及解决现有技术由于关键词序列和语义加权词库存在重复而造成的语义加权无效或无法对倒排索引实现实质改变等技术问题。

为达到上述目的，本发明采用的技术方案如下：

一种基于语义语气加权的倒排索引优化算法，包括以下步骤：

步骤1、预设语义停用词组，再设置具有不同语义加权值的增强语义词组和弱化语义词组，并均作为语义停用词组的子集；

步骤2、对每个输入文档进行切词处理，获得有序词语序列；

步骤3、将有序词语序列与语义停用词组进行匹配，匹配过程中滤除出现在语义停用词组中的词组获得输入文档的关键词序列；

步骤4、遍历关键词序列，获得当前关键词的语气加权值后，在当前关键词位置至其上次出现位置范围内查询文档词组中与增强语义词组和弱化语义词组匹配的词组，由所匹配词组的语义加权值结合语气加权值计算当前关键词的加权词频，在遍历完成后获得文档的加权词频；

步骤5、根据文档加权词频进行倒排，获得索引优化的文档序列。

上述方案中，所述的步骤1，通过程度副词设置增强语义词组和弱化语义词组。

上述方案中，所述的步骤4，其中，通过当前关键词所在原语句句尾特征确定其语气加权值。

上述方案中，所述的步骤4，其中，获得语气加权值包括：

步骤①、定义原语句的标点关联预设语气加权值；

步骤②、通过当前关键词所在原语句句尾标点获得其语气加权值。

上述方案中，所述的步骤4，其中，定义原句子j中当前索引的关键词key_index的加权词频f_key为：

W_i为关键词key的语义加权值，n代表文档中关键词key的数量，m表示关键词key和之前关键词之间与增强语义词组和弱化语义词组匹配的语义词组数量，W_j为语气加权值。

一种确定文档加权词频的方法，包括以下步骤：

步骤1、设置具有不同语义加权值的词库；