[发明专利]对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置

说明书

本申请提供一种对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置。该网页抓取的控制方法包括：预先存储黑名单和白名单，在黑名单中指示有禁止出现在搜索网页上的敏感关键词，在白名单中指示有允许出现在搜索网页上的非敏感关键词，响应于对网站网页的抓取请求，从网站网页中提取出关键词；判断关键词是否在黑名单中，如果在黑名单中，拒绝抓取请求，如果不在黑名单中，判断关键词是否在白名单中，如果在白名单中，允许抓取请求，如果不在白名单中，拒绝抓取请求。通过本申请，可以有效控制网页抓取的范围，尽量避免在抓取到的网站网页上出现敏感关键词，一方面提高搜索质量，另一方面提高搜索引擎对信息收录的及时性和有效性。

技术领域

本申请涉及计算机应用领域，特别是涉及对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置。

背景技术

搜索引擎将所有万维网上的信息收录并整理在一个平台上供网民使用。网络爬虫是一种自动抓取网页的程序，它为搜索引擎从万维网上抓取网页，是搜索引擎的重要组成部分。传统的网络爬虫从一个或若干个初始网页的URL(Uniform Resource Locator，统一资源定位符)开始，抓取初始网页的URL，并且，在抓取过程中，不断地从当前网页上抽取新的URL，直到满足系统设定的停止条件为止。

各种类型的网站(如，电子商务网站或门户网站)可以对外提供大量的网站网页的URL，以供网络爬虫抓取。例如，在电子商务网站，其对外提供的网站网页的URL为各种商品网页的URL；在门户网站，其对外提供的网站网页的URL为各种新闻网页的URL。

但是，在实现本申请的过程中，本申请的发明人发现现有技术中至少存在如下问题：一些恶意分子很可能会根据某个网站对外提供的网站网页的URL，而破解出URL的拼装规则，并根据拼装规则为某个网站伪造出一些垃圾网站网页的URL，通常，这些垃圾网站网页会带有一些敏感关键词，如，低俗的黄色关键词或者与政治相关的关键词等。

如果网络爬虫从各类网站提供的网站网页的URL中抓取到这些伪造的垃圾网站网页的URL，一方面，搜索引擎有可能会将这些垃圾网站网页作为搜索网页提供给搜索用户，但实际上，这些垃圾网站网页的并不是搜索用户想要得到的搜索结果，这样就会影响搜索结果的相关性，最终导致搜索质量变差；另一方面，网络爬虫的抓取能力是有限的，如果网络爬虫抓取了某个网站内海量的垃圾网站网页的URL，就要花费更长的时间才能抓取到该网站内正常网站网页的URL，甚至是根本无力再抓取该网站内正常网站网页的URL，这会影响搜索引擎对信息收录的及时性以及有效性。

发明内容

为了解决上述技术问题，本申请实施例提供了对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置，可以有效控制网页抓取的范围，以尽量避免在抓取到的网站网页上出现敏感关键词，一方面可以提高搜索质量，另一方面也可以提高搜索引擎对信息收录的及时性以及有效性。

本申请实施例公开了如下技术方案：

一种对网页抓取的控制方法，预先存储黑名单和白名单，在所述黑名单中指示有禁止出现在搜索网页上的敏感关键词，在所述白名单中指示有允许出现在搜索网页上的非敏感关键词，所述方法包括：

响应于对网站网页的抓取请求，从所述网站网页中提取出关键词；

判断所述关键词是否在所述黑名单中，如果在所述黑名单中，拒绝对所述网站网页的抓取请求，如果不在所述黑名单中，则判断所述关键词是否在所述白名单中，如果在所述白名单中，允许对所述网站网页的抓取请求，如果不在所述白名单中，拒绝对所述网站网页的抓取请求。

一种动态更新黑名单和白名单的方法，包括：

将黑名单和白名单中的关键词，和/或，从用户访问日志和/或网络爬虫日志中提取出的关键词作为待分类关键词，并计算所述待分类关键的当前引流能力值，其中，在所述黑名单中指示有禁止出现在搜索网页上的敏感关键词，在所述白名单中指示有允许出现在搜索网页上的非敏感关键词；