[发明专利]对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置

摘要

本申请提供一种对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置。该网页抓取的控制方法包括：预先存储黑名单和白名单，在黑名单中指示有禁止出现在搜索网页上的敏感关键词，在白名单中指示有允许出现在搜索网页上的非敏感关键词，响应于对网站网页的抓取请求，从网站网页中提取出关键词；判断关键词是否在黑名单中，如果在黑名单中，拒绝抓取请求，如果不在黑名单中，判断关键词是否在白名单中，如果在白名单中，允许抓取请求，如果不在白名单中，拒绝抓取请求。通过本申请，可以有效控制网页抓取的范围，尽量避免在抓取到的网站网页上出现敏感关键词，一方面提高搜索质量，另一方面提高搜索引擎对信息收录的及时性和有效性。

主权项

1.一种对网页抓取的控制方法，其特征在于，预先存储黑名单和白名单，在所述黑名单中指示有禁止出现在搜索网页上的敏感关键词，在所述白名单中指示有允许出现在搜索网页上的非敏感关键词，所述方法包括：响应于对网站网页的抓取请求，从所述网站网页中提取出关键词；判断所述关键词是否在所述黑名单中，如果在所述黑名单中，拒绝对所述网站网页的抓取请求，如果不在所述黑名单中，则判断所述关键词是否在所述白名单中，如果在所述白名单中，允许对所述网站网页的抓取请求，如果不在所述白名单中，拒绝对所述网站网页的抓取请求；将所述黑名单和所述白名单中的关键词，和/或，从用户访问日志和/或网络爬虫日志中提取出的关键词作为待分类关键词，并计算所述待分类关键的当前引流能力值，所述当前引流能力值用于表示所述待分类关键词在最近的一个引流能力计算周期内给网站网页带来访问流量的能力；判断所述待分类关键词是否在所述白名单中，如果在所述白名单中，则判断所述待分类关键词的当前引流能力值是否小于或等于预定的弱引流能力阈值，如果小于或等于预定的弱引流能力阈值，将所述待分类关键词既不归入到所述黑名单中也不归入到所述白名单中，如果大于预定的弱引流能力阈值，将所述待分类关键词归入到所述白名单中。