[发明专利]一种提高搜索引擎搜索效率的方法及其系统

说明书

技术领域

本发明涉及计算机网络技术领域，特别是涉及一种提高搜索引擎搜索效率的方法及其系统。

背景技术

搜索引擎(search engine)是一种根据一定的策略、运用特定的计算机程序搜集互联网上的信息，并在对信息进行组织和处理后，将处理后的信息显示给用户，以为用户提供检索服务的系统。目前，随着互联网的迅速发展，搜索引擎已成为互联网的重要应用之一。为了在互联网上数以百亿计的网页中寻找信息，人们往往求助于搜索引擎。

如今搜索引擎索引的网页越来越多，已经达到上百亿。加上搜索引擎排名优化技术(SEO)可以使一些相关性不大的网页出现在搜索结果中，使得用户在输入查询词之后，往往返回大量的结果；因此，用户在搜索信息的过程中，往往需要付出大量的劳动，才能从搜索引擎返回的大量结果中，找到自己想要的信息。这是因为搜索引擎需要在查全率和查准率中找寻一个平衡，并且根据网页流行度进行排序，加上搜索引擎排名优化技术(SEO)的干扰，使得搜索结果难以准确匹配用户需求。

发明内容

本发明的目的在于克服现有技术之不足，提供一种提高搜索引擎搜索效率的方法及其系统，通过对搜索引擎返回的结果进行分析，并加以归类和排序，从而方便用户快速定位到目标网页，提高搜索效率，减少人工劳动。

本发明解决其技术问题所采用的技术方案是：一种提高搜索引擎搜索效率的方法，包括如下步骤：

对搜索引擎的搜索结果进行预处理，获取网页url、命中关键字；

对网页url进行分析，过滤出属于网站首页的url，将本步骤过滤出的搜索结果标记为首页型并存入分类搜索结果库；

对上一步骤之后余下的网页进行下载；

对所下载的网页进行结构分析，过滤出属于目录型网页，将本步骤过滤出的搜索结果标记为目录型并存入分类搜索结果库；

将上一步骤之后余下的网页认定为内容型网页，对内容型网页进行正文分析，判断正文中是否包含关键字，并将分析结果存入分类搜索结果库；

对保存到分类搜索结果库中的分析结果进行分类显示，并对用户提供分类浏览和排序的步骤。

所述的对搜索引擎的搜索结果进行预处理而获取网页url、命中关键字的步骤，是通过分析搜索结果的html代码，使用模板匹配方式，提取每一条搜索结果的属性。

所述的对网页url进行分析而过滤出属于网站首页的url的步骤，是将url中的协议之后，以域名结束，或者以首个“/”分隔符结束来定义为网站首页。

所述的对网页url进行分析而过滤出属于网站首页的url的步骤，还包括将url中的协议之后，以第二个或第三个“/”分隔符结束来定义为二级网站首页或三级网站首页。

所述的对网页进行结构分析而过滤出属于目录型网页，是根据文字链接比，来判断是否属于目录型网页，其包括如下步骤：

a1.使用正则匹配获取所有超链接，并在去除空格后，计算全部超链接文本的字数L；

a2.去除html标记、脚本代码、样式代码，得到纯文本，并在去除空格后，计算全部纯文本字数T；

a3.计算L/T的值，在该L/T的值超过预设阈值时，则认定为目录型网页，并将此类型的网页标记为目录型并保存到分类搜索结果库。

所述的对内容型网页进行正文分析，判断正文中是否包含关键字，其包括如下步骤：

b1.根据html网页源代码建立标签树的模型；

b2.遍历该树，计算每个叶子节点的父节点所包含的文字字数；

b3.比较各父节点的文字字数，抽取出父节点中所包含的文字字数最多的一个为该网页的正文，判断该正文中是否包含关键字，对包含关键字的作出对应的标记，并保存到分类搜索结果库。

一种提高搜索引擎搜索效率的系统，包括：

搜索结果预处理模块，用于对搜索引擎的返回结果进行分析处理，并提取每一条搜索结果的属性；

网页url分析模块，用于对所提取的网页url进行分析；

网页爬虫模块，用于下载非网站首页类型的网页；

网页结构分析模块，用于分析网页结构；

网页正文分析模块：用于进行正文抽取，获取正文字数，并判断正文中是否包括搜索的关键字；

分类搜索结果库，用于保存分析后的搜索结果；

分类显示模块，用于分类显示分析后的搜索结果；