[发明专利]一种基于语言模型的排序算法

说明书

技术领域

本发明涉及信息检索领域，特别是涉及信息检索领域的排序算法.

背景技术

随着信息检索技术的不断发展和信息处理技术的进步，人们对信息检索精度的要求越来越高，信息检索中的算法也层出不穷.

在信息检索领域，评价一个排序算法的好坏的重要标准就是能够快速的让用户找到所需的信息，既与用于搜索主题相关的信息.所谓的检索结果的相关性就是用户的检索词与页面的相关程度，通常相关性是排序的一个重要依据.计算页面相关性的主要方法有google的PageRank、百度的超链接分析等。它们的基本原理就是根据网页的引用情况进行排序。PageRank算法使用的是文档之间明确的链接引用关系而没有考虑语义内容，但是实际在检索中，文档的语义内容很重要，因此如何借助语义内容建立隐式链接关系来辅助排序以提高排序性能是我们关注的话题。基于概率的语言模型关注语义内容，因此我们提出基于语言模型的排序算法。

发明内容

本发明提供了一种基于语言模型的排序算法，使得排序结果更加贴近用户的需求。

本发明提出的基于语言模型的排序算法包括下列步骤：对用户输入的查询进行预处理，包括进行中文分词和过滤停用词；建立倒排索引单元，将候选文档进行预处理后建立倒排索引，以便快速定位；将预处理得到的关键词分布在关键词索引中进行查找，以确定包含所述关键词的初始文档集合；利用生成概率在初始文档集合上建图得到每篇文档的中心性权重；得到查询与候选文档的生成概率；确定查询与候选文档的总权重；按照总权重对所述各待排序的文档进行排序。

本发明提出的基于语言模型的排序算法包括：预处理单元，对用户输入的查询进行预处理，包括进行中文分词和过滤停用词；建立倒排索引单元，将候选文档进行预处理后建立倒排索引，以便快速定位；获取初始文档集合单元，将预处理得到的关键词分布在关键词索引中进行查找，以确定包含所述关键词的初始文档集合；确定中心性(静态)权重单元，利用生成概率在初始文档集合上建图得到每篇文档的中心性权重；确定动态权重单元，得到查询与候选文档的生成概率；确定总权重单元，确定查询与候选文档的总权重；排序单元，按照总权重对所述各待排序的文档进行排序。

具体实施方式

本发明中对用户输入的查询进行预处理，将候选文档进行预处理后建立倒排索引，将预处理得到的关键词分布在关键词索引中进行查找，以确定包含所述关键词的初始文档集合，利用生成概率在初始文档集合上建图得到每篇文档的中心性权重，得到查询与候选文档的生成概率作为动态权重，确定查询与候选文档的总权重，按照总权重对所述各待排序的文档进行排序。由于总权重中考虑了查询与文档的动态权重以及候选文档之间的静态权重，所以按照总权重对候选文档进行排序能够更加贴近用户的需求。