[发明专利]网页筛选方法及装置

摘要

本发明公开了一种网页筛选方法及装置。该方法包括抓取预设种子网页；获取预设种子网页中所包含的URL信息；计算URL信息对应的网页质量分数；按照预设网络地址信息，将URL信息划分到相应的候选集合中；从每一候选集合中筛选出数量不超过相应预设压力配额的URL信息，其中，筛选出的URL信息对应的网页质量分数不低于相应候选集合中任意剩余URL信息对应的网页质量分数，预设压力配额为依据网络地址所对应的抓取压力值确定出；将筛选出的URL信息对应的网页作为目标抓取网页。通过利用本方案，实现了在保证网页质量的前提下，降低网页抓取失败风险或站点封禁风险，进而提高抓取网页的成功率的目的。

主权项

一种网页筛选方法，其特征在于，适用于网络爬虫系统，所述方法包括：抓取预设种子网页；获取所述预设种子网页中所包含的URL信息；计算所述URL信息对应的网页质量分数；按照预设网络地址信息，将所述URL信息划分到相应的候选集合中，其中，同一候选集合的URL信息对应同一网络地址；从每一候选集合中筛选出数量不超过相应预设压力配额的URL信息，其中，筛选出的URL信息对应的网页质量分数不低于相应候选集合中任意剩余URL信息对应的网页质量分数，所述预设压力配额为依据网络地址所对应的抓取压力值确定出；将筛选出的URL信息对应的网页作为目标抓取网页；当首次抓取网页时，抓取预设种子网页包括：抓取默认导航页；当非首次抓取网页时，抓取预设种子网页包括：抓取之前所确定出的目标抓取网页；从一候选集合中筛选出数量不超过相应预设压力配额的URL信息，包括：判断候选集合中所包含URL信息的数量是否不超过相应预设压力配额；如果是，将所述候选集合中所包含的所有URL信息作为筛选出的URL信息；否则，将所述候选集合中URL信息按照网页质量分数进行降序排列；将已筛选数量初始化为0；按照降序序列，依次处理所述候选集合中的URL信息：判断已筛选数量是否不大于预设压力配额，如果是，将当前的URL信息作为筛选出的URL信息，并将已筛选数量加1；否则，结束对所述候选集合中URL信息的筛选处理。