[发明专利]基于内容引用的网页搜索结果排序方法

摘要

基于内容引用的网页搜索结果排序方法属于计算机信息检索技术领域，其特征在于，首先，针对各类用户的各类查询词获取各类网页的网页全集，再经过正文提取、文本分块、引用列表建立的步骤得到该网页全集内各文本块的所有引用列表，再通过网页排名计算，得到引用最多的50个文本块作为引用黑名单，其次，当同一用户输入查询词时，把该引用黑名单作为引用列表建立时的文本块索引表，利用表内的网页列表，作为网页排名计算时的参照物得到对包含用户查询词的所有网页排序。本发明在排除了导航性质的网页干扰的同时，也提高了查询和排序的速度。

主权项

1.基于内容引用的网页搜索结果排序方法，其特征在于，所述方法是在信息检索系统的计算机上依次按以下步骤实现的：步骤(1)初始化步骤(1.1)建立相关网页获取模块、网页正文获取模块、文本分块模块、引用列表建立模块以及网页排名计算模块，其中：相关网页提取模块，根据用户输入的查询词，用Google搜索引擎从互联网上获取与所述查询词相关的网页，组成网页集合，网页正文提取模块，从所述相关网页获取模块输入所建的网页集合，使用jericho-html-2.5工具包进行各网页的正文抽取工作，把各网页转化为纯文本格式，文本分块模块，从所述网页正文抽取模块输入各网页的正文，把各个网页切分为每10个汉字为一块的文本块，在句号或换行符处结束当前块，并进行块对齐，若当前块不足5个汉字，则把当前块与上一块合并，然后，把每个纯文本文件用一个文本块列表表示，引用列表建立模块，从所述文本分块模块逐个输入全部待处理网页中的文本块，对于每一个所述网页，对其中每一个文本块，按照以下步骤建立该文本块的网页引用列表，根据一读入的所述全部待处理网页中的文本块，建立一个块索引表，采取哈希表的格式，关键词为该文本块的内容，其对应值为一个列表，该列表中存储了该文本块的网页编号，构成网页列表，以后每输入一个文本块，便通过所述块索引表查找所输入的文本块所对应的网页列表：若：所读入的文本块不包含在所述块索引表内，则把己读入的文本块加入到所述块索引表中，所指向的网页列表中只包含当前网页，若：所读入的文本块已包含在所述块索引表的一个或多个称为引用块的文本块中，如果在该块索引表中相应的一个或多个文本块已有N个网页，则所读入的文本块便检测到N个引用，再把所读入的文本块所在的那个当前网页也加入网页列表，得到对应于所读入文本块的网页索引列表，上述网页正文抽取模块、文本分块模块、以及用应列表建立模块共同构成了一个引用次数计算模块，简称引用计算模块，网页排名计算模块，按照以下步骤生成网页排名序列：使用Sogou互联网语料库作为大规模互联网语料库，生成无效引用列表，所述无效引用块是指只包含广告文字、论坛导航信息、版权声明在在内的与所述用户查询词完全无关的引用块，从所述引用列表建立模块输入的所述网页引用列表，生成两个集合：待处理集合P与结果集合S，初始值为空，把全部待处理网页放入所述待处理集合P，检查块索引表，对于每一个待处理网页而言，针对每一个关键字若对应的值列表包含多于一个网页，则其中任何两个网页之间记为一次引用，若该文本块在引用时包含的汉字大于5个，且也不出现在所述无效引用表中，则对引用块双方网页均进行加分，所述引用双方分别为当前计算的网页与该文本块对应的网页列表中的每一个网页，加分分值为：该文本块长度，也称引用块长度/网页长度，并回放在所述集合P中，选取分数最高的网页放入结果集合S中，并在所述集合P中加以删除，并再重复此步骤，若所述集合S中的网页个数满足要求，或所述集合P为空，则结束，否则把正在做排序计算的网页中所有的文本块以所述块索引表中山区，再计算下一个网页；步骤(1.2)程序初始化步骤(1.2.1)置引用黑名单为空，步骤(1.2.2)把与各类用户查询词相关的各类所有网页的网页全集输入所述引用计算模块，把得到的引用列表中引用次数最多的前M个文本块作为引用黑名单；步骤(2)接受用户输入的查询词，依次按一下步骤得出排序结果：步骤(2.1)用所述网页获取模块获取与用户输入的查询词相关的网页集合，步骤(2.2)读入步骤(1.2.2)得到的引用黑名单，并以此作为引用列表建立时与读入的每一个文本块所对照时用的无效块索引表，步骤(2.3)把步骤(2.1)得到的网页集合列入所述引用列表建立模块，得到一个对应于用户输入的查询词的网页引用列表，步骤(2.4)把步骤(2.3)得到的网页引用列表输入所述网页排名计算模块，得到网页排序表。