[发明专利]一种提高搜索引擎搜索效率的方法及其系统

权利要求书

1.一种提高搜索引擎搜索效率的方法，其特征在于：包括如下步骤：

对搜索引擎的搜索结果进行预处理，获取网页url、命中关键字；

对网页url进行分析，过滤出属于网站首页的url，将本步骤过滤出的搜索结果标记为首页型并存入分类搜索结果库；

对上一步骤之后余下的网页进行下载；

对所下载的网页进行结构分析，过滤出属于目录型网页，将本步骤过滤出的搜索结果标记为目录型并存入分类搜索结果库；

将上一步骤之后余下的网页认定为内容型网页，对内容型网页进行正文分析，判断正文中是否包含关键字，并将分析结果存入分类搜索结果库；

对保存到分类搜索结果库中的分析结果进行分类显示，并对用户提供分类浏览和排序的步骤。

2.根据权利要求1所述的提高搜索引擎搜索效率的方法，其特征在于：所述的对搜索引擎的搜索结果进行预处理而获取网页url、命中关键字的步骤，是通过分析搜索结果的html代码，使用模板匹配方式，提取每一条搜索结果的属性。

3.根据权利要求1所述的提高搜索引擎搜索效率的方法，其特征在于：所述的对网页url进行分析而过滤出属于网站首页的url的步骤，是将url中的协议之后，以域名结束，或者以首个“/”分隔符结束来定义为网站首页。

4.根据权利要求3所述的提高搜索引擎搜索效率的方法，其特征在于：所述的对网页url进行分析而过滤出属于网站首页的url的步骤，还包括将url中的协议之后，以第二个或第三个“/”分隔符结束来定义为二级网站首页或三级网站首页。

5.根据权利要求1所述的提高搜索引擎搜索效率的方法，其特征在于：所述的对网页进行结构分析而过滤出属于目录型网页，是根据文字链接比，来判断是否属于目录型网页，其包括如下步骤：

a1.使用正则匹配获取所有超链接，并在去除空格后，计算全部超链接文本的字数L；

a2.去除html标记、脚本代码、样式代码，得到纯文本，并在去除空格后，计算全部纯文本字数T；

a3.计算L/T的值，在该L/T的值超过预设阈值时，则认定为目录型网页，并将此类型的网页标记为目录型并保存到分类搜索结果库。

6.根据权利要求1所述的提高搜索引擎搜索效率的方法，其特征在于：所述的对内容型网页进行正文分析，判断正文中是否包含关键字，其包括如下步骤：

b1.根据html网页源代码建立标签树的模型；

b2.遍历该树，计算每个叶子节点的父节点所包含的文字字数；

b3.比较各父节点的文字字数，抽取出父节点中所包含的文字字数最多的一个为该网页的正文，判断该正文中是否包含关键字，对包含关键字的作出对应的标记，并保存到分类搜索结果库。

7.一种提高搜索引擎搜索效率的系统，其特征在于：包括：

搜索结果预处理模块，用于对搜索引擎的返回结果进行分析处理，并提取每一条搜索结果的属性；

网页url分析模块，用于对所提取的网页url进行分析；

网页爬虫模块，用于下载非网站首页类型的网页；

网页结构分析模块，用于分析网页结构；

网页正文分析模块：用于进行正文抽取，获取正文字数，并判断正文中是否包括搜索的关键字；

分类搜索结果库，用于保存分析后的搜索结果；

分类显示模块，用于分类显示分析后的搜索结果；

其中，搜索结果预处理模块的输出接至网页url分析模块的输入，前者将提取的每一条搜索结果的属性输出给后者；网页url分析模块的输出分别接至网页爬虫模块和分类搜索结果库，网页url分析模块将属于网站首页类型的url输出给分类搜索结果库，将属于非网站首页类型的url输出给网页爬虫模块；网页爬虫模块的输出接至网页结构分析模块的输入，前者将所下载的网页内容输出给后者；网页结构分析模块的输出分别接至网页正文分析模块和分类搜索结果库，网页结构分析模块将属于目录型的网页url输出给分类搜索结果库，将属于其他网页类型的网页内容输出给网页正文分析模块；网页正文分析模块的输出接至分类搜索结果库模块，前者将分析的结果输出给后者；分类搜索结果库模块的输出接至分类显示模块，前者将保存后的分析结果输出给后者。