[发明专利]一种能识别网页信息自动采集的系统与方法

摘要

本发明公开了一种能识别网页信息自动采集的系统与方法，包括反采集分类器构建模块、自动采集识别模块和反采集在线处理模块，反采集分类器构建模块主要用于使用计算机程序对历史的web信息自动采集和正常的网页访问行为进行学习并区分，自动采集识别模块，通过运用上述步骤中的反采集分类器，自动识别出搜索引擎程序的自动采集行为，并将识别出的采集程序所处的IP段加入黑名单。反采集在线处理模块主要用于对访问的用户进行自动在线判定和处理。本发明克服了现有技术的不足，该系统通过分析网站的历史网页访问行为，建立自动采集分类器，识别出机器人的自动采集，通过自动机器人采集识别，实现网页反抓取。

主权项

一种能识别网页信息自动采集的系统与方法，其特征在于：包括反采集分类器构建模块、自动采集识别模块和反采集在线处理模块，反采集分类器构建模块，该模块主要用于使用计算机程序对历史的web信息自动采集和正常的网页访问行为进行学习并区分，该模块为自动采集识别提供训练模型，所述的自动采集识别模块，该模块主要通过加载自动分类器，自动识别出搜索引擎程序的自动采集行为，并将识别出的采集程序所处的IP段加入黑名单，该黑名单用于后续对自动采集行为进行在线拦截，所述的反采集在线处理模块，该模块主要用于对访问的用户进行自动在线判定和处理，如果该访问者的IP已在IP段黑名单中，则拒绝该IP进行访问；否则，将该访问请求转交给web服务器进行继续处理。