[发明专利]网络爬虫系统以及方法

摘要

本发明提供了一种网络爬虫系统以及方法，其中的网络爬虫方法包括通过预设的界面接收配置参数，所述配置参数包括控制参数、过滤参数、抽取参数以及存储参数；获取所述控制参数中的种子链接，根据所述种子链接进行爬取；若访问的链接匹配所述过滤参数，则过滤所述访问的链接并转入下一链接；根据所述抽取参数中的抽取规则对所述访问的链接对应的页面内容进行提取，得到目标数据；获取所述存储参数中的存储格式以及存储位置，将所述目标数据按照所述存储格式进行格式转换，并将转换后的数据存储在所述存储位置。本发明根据配置参数进行相应的爬取操作，实现爬取数据的存储，能够适用于多种环境，满足多种需求，可适用性高。

主权项

一种网络爬虫系统，其特征在于，包括：配置模块，用于通过预设的界面接收配置参数，所述配置参数包括：控制参数、过滤参数、抽取参数以及存储参数；控制模块，用于获取所述控制参数中的种子链接，根据所述种子链接进行爬取，所述爬取包括访问链接对应的页面以及获取所述页面上的链接；过滤模块，用于当所述访问的链接匹配所述过滤参数时，过滤所述访问的链接并转入下一链接；抽取模块，用于根据所述抽取参数中的抽取规则对所述访问的链接对应的页面内容进行提取，得到目标数据；存储模块，用于获取所述存储参数中的存储格式以及存储位置，将所述目标数据按照所述存储格式进行格式转换，并将转换后的数据存储在所述存储位置。