[发明专利]一种基于语言模型的排序算法

权利要求书

1.一种基于语言模型的排序算法，其特征在于包括下列步骤：

预处理单元，对用户输入的查询词和候选文档进行分词和过滤停用词处理；

建立倒排索引单元，对候选文档建立倒排索引，以方便快速定位；

静态权重确定单元，既中心性迭代计算单元，利用初始候选文档建图，迭代得到静态权重；

动态权重确定单元，用户将查询与候选文档之间利用语言模型得到的权重就是动态权重；

总权重确定单元，用于确定查询在候选文档中的总权重；

排序单元，用于按照总权重对所述各待排序的网络资源进行排序。

2.如权利要求1所述的方法，其特征在于在建立倒排索引之前还包括对候选文档进行预处理部分。首先要过滤停用词，使得类似“的”、“了”、“呢”、“之”之类无效词过滤掉，这样可以减少检索代价；其次要进行中文分词，常用的方法有正向最大匹配算法，反正最大匹配算法，双向最大匹配算法等，我们采用了正向最大匹配算法。

3.如权利要求1所述的方法，其特征在于，在用户输入查询之前还包括对候选文档建立倒排索引的过程，以词为单位的词典文件，包含该词频率的频率文件，该词在文档中所处位置的位置文件。其中词典文件不仅保存有每个关键词，还保留了指向频率文件和位置文件的指针，通过指针可以找到该关键字的频率信息和位置信息，以实现快速定位。

4.如权利要求1所述的方法，其特征在于，确定候选文档集合包括以下步骤：

以对查询进行分词处理所得的分词分别在倒排索引中进行查找，找到每个分词所属的文档集合取各所述集合的交集，作为候选文档集合。

5.如权利要求1所描述的方法，排序算法由两部分组成，静态权重和动态权重。如权利要求1所述的方法，其特征在于，将用户的输入查询进行预处理得到关键词之后，可以利用权利要求3中建立的倒排索引，快速定位包含查询关键词的文档当作初始候选结果集，这里可以利用语言模型得到查询与候选文档之间权重，这个权重就是动态权重，记为p_d(q)。

6.如权利1要求所描述的方法，其特征在于，将动态权重得到的初始候选结果集利用语言模型建图。语言模型建图的过程就是构建非真实链接关系的PageRank，并且迭代得到每个文档的最终值作为排序算法中的静态权重，也称为中心性，记作Cen(d，G)，则中心性的计算方法为：

Cen(d;G)=defΣo∈Dinitwt(o→d)]]>

其中wt(o→d)＝p_d(o)。

7.如权利要求1所描述的方法，其特征在于排序算法可以表示为

Cen(d，G)*p_d(G)