[发明专利]一种众包网络爬虫抓取数据的检测方法及系统

权利要求书

1.一种众包网络爬虫抓取数据的检测方法，其特征在于：将服务器作为爬虫客户端抓取结果的检验中心，爬虫客户端把抓取的页面内容上传到检验中心，检验中心将多个爬虫客户端上传的内容进行对比，如果结果相同则给各个爬虫客户端加信用分；如果结果不相同，则再下发一次任务，重新检验这几个爬虫客户端，如果结果相同则给各个爬虫客户端加信用分，如果结果不同则给各个爬虫客户端减信用分；信用分表示爬虫客户端的可靠程度，优先选择信用分高的爬虫客户端来完成抓取任务。

2.根据权利要求1所述的众包网络爬虫抓取数据的检测方法，其特征在于：该方法包括以下步骤：

(1)检验中心维护一个爬虫列表，爬虫列表中的每一项包含爬虫ID和爬虫的信用分；

(2)检验中心将一个抓取任务派发给不同IP地址的多个爬虫，同时打开一个时间窗口，等待爬虫上传数据；

(3)在时间窗口内接收爬虫上传的数据，并在时间窗口关闭时进行评价。

3.根据权利要求2所述的众包网络爬虫抓取数据的检测方法，其特征在于：若时间窗口关闭时爬虫未能上报数据，则信用分-5；在时间窗口关闭前上报数据的爬虫：若上报的内容都一致，则完成此次任务的爬虫信用分+1；若上报的内容发生不一致，则将此次抓取任务按失败处理，并把执行这次任务的爬虫列入待观察列表；服务器重新下发一次任务，同时检验中心自己也去网站上抓取，以自己的结果比照爬虫再次提交上来的结果；下一次时间窗口关闭时，抓取的结果和检验中心一致，则信用分+1，不一致则判定为误报，信用分-50。

4.一种众包网络爬虫抓取数据的检测系统，其特征在于：该系统包括：

服务器，其配置来作为爬虫客户端抓取结果的检验中心；

爬虫客户端，其配置来把抓取的页面内容上传到检验中心；

其中，检验中心将多个爬虫客户端上传的内容进行对比，如果结果相同则给各个爬虫客户端加信用分；如果结果不相同，则再下发一次任务，重新检验这几个爬虫客户端，以辨别优劣，而后进行相应的信用分加减；信用分表示爬虫客户端的可靠程度，优先选择信用分高的爬虫客户端来完成抓取任务。