[发明专利]一种基于随机森林算法的网页排序方法

说明书

本发明提供一种基于随机森林算法的网页排序方法，包括：获取搜索网页对应的关键词和关键备选词；计算所述搜索网页对应的关键词或者关键备选词词频和权重；计算搜索网页质量相关指标PR值；计算搜索网页的枢纽值和权威值；计算最近浏览网页与所述搜索网页的相关性与最近浏览网页的关键词以及关键备选词的TF‑IDF值乘积；计算输出指标：规定访问时间以上的搜索网页用户网页浏览次数与满足条件的网页停留时间某一函数的乘积是否大于设定的阀值；建立随机森林模型并记录相应结果；计算最终的所述搜索网页得分并排序。与现有技术相比，本发明的利用随机森林的方法对传统的HITS算法进行一定程度上的改良，提升用户的搜索体验，使得信息来得更好更准。

技术领域

本发明涉及网页排序技术领域，具体涉及一种基于随机森林算法的网页排序方法。

背景技术

随着计算机科技的飞速发展，人们获取信息的途径和速度变多、变快了，但是随着信息量的爆炸性增长，人们准确获取信息的难度也加大了，如何更快更好地提供给用户想要的信息显得十分重要。而百度、谷歌等搜索引擎的诞生正是为了让人们更方便地在信息的汪洋中迅速准确找寻到自己需要的东西。而一个优秀的搜索引擎应该向用户提供所需要的最重要的最有价值的网页信息并将其排行在前面，同时提供的服务应该是简便而又人性化的，使得用户在很短时间内可以得到满意的相关搜索结果。为了满足以上突出的特性，各式各样的网页排名算法因运而生。网页排名算法的好坏直接影响用户搜索的体验。现有的网页排序算法包括利用网页与主题相关性进行排序的词频位置加权排序算法、基于随机漫游模型的PageRank算法和Repution算法、基于概率模型的SALSA算法和PHITS算法、基于Hub和Authority相互加强模型的的HITS算法及其变种和基于贝叶斯模型的贝叶斯算法及其简化版本等等。但是用户的搜索体验不是很好，信息得来的不是很好。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，提供一种基于随机森林算法的网页排序方法，该方法包括以下步骤：

步骤S1：获取搜索网页对应的关键词和关键备选词；

步骤S2：计算所述搜索网页对应的关键词或者关键备选词词频和权重；

步骤S3：计算搜索网页质量相关指标PR值；

步骤S4：计算搜索网页的枢纽值和权威值；

步骤S5：计算最近浏览网页与所述搜索网页的相关性与最近浏览网页的关键词以及关键备选词的TF-IDF值乘积；

步骤S6：计算输出指标：规定访问时间以上的搜索网页用户网页浏览次数与满足条件的网页停留时间某一函数的乘积是否大于设定的阀值；

步骤S7：建立随机森林模型并记录相应结果；

步骤S8：计算最终的所述搜索网页得分并排序。

较佳的，所述步骤S1具体包括：对用户搜索词进行基于统计的语义分析并划分关键词，再从词库中调用设定数目个与关键词相似程度的词语作为关键备选词。

较佳的，所述步骤S2具体包括：所述关键词或者关键备选词词频的计算公式为：

式中，tf_i,j为第j个网页中第i个关键词或者关键备选词出现的频率即词频，分子n_i,j为第i个关键词或者关键备选词在第j网页中的出现次数，分母为在第j个网页中所有字词的频数之和；

逆向网页频率：某一特定词语的逆向网页频率，由总网页数目除以包含该词语的网页的数目，再将得到的商取对数得到，计算式如下：

分子|D|为网页总数，分母为包含该词的网页数；