[发明专利]基于大数据的网络爬虫系统

权利要求书

1.一种基于大数据的网络爬虫系统，其特征在于，包括：

配置模块，用于配置爬虫参数；

生成模块，用于根据所述爬虫参数生成爬虫程序；

爬取模块，用于根据所述爬虫程序进行信息爬取。

2.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，所述爬虫参数包括：网络网址和网页中数据字段。

3.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，还包括：第一识别模块，用于识别反爬网址，和/或，识别网页中反爬字段。

4.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，还包括：

打包模块，用于打包所述爬虫程序。

5.根据权利要求4所述的基于大数据的网络爬虫系统，其特征在于，还包括：

部署模块，用于将打包好的爬虫程序部署到服务器。

6.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，还包括：

监控模块，用于对爬取过程进行监控。

7.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，还包括：

输出模块，用于实时输出爬虫日志，所述爬虫日志包括爬取内容完整性、正确率、发送请求数和返回请求数。

8.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，还包括：

订阅模块，用于将所述爬虫日志发送至爬虫相关人员。

9.根据权利要求1所述的基于大数据的网络爬虫系统，其特征在于，还包括：

第二识别模块，用于自动识别解析规则。

10.根据权利要求5所述的基于大数据的网络爬虫系统，其特征在于，还包括：

调度模块，用于为所述服务器添加标签，根据标签分配爬虫程序。