[发明专利]基于云计算技术的数据采集系统及方法

说明书

本发明公开了一种基于云计算技术的数据采集系统及方法，系统采用分布式分层协作、可水平扩展的异步队列方案，包括任务调度器、生成器、下载器及解析器；任务调度器根据每一个数据采集任务调度所述生成器、下载器及解析器，以采集到与每一个数据采集任务相关的数据；生成器根据所述任务调度器的调度以生成与该数据采集任务对应的每一个待采集网站相关页面的URI；下载器用于根据所述任务调度器的调度以下载每一个待采集网站相关页面的URI所对应的原始数据；解析器用于根据任务调度器的调度以对所述下载器下载的原始数据解析为结构化数据。采集系统可以根据任务量及负载情况，通过快速部署功能实现分布式的弹性拓展，快速提高系统的负载能力。

技术领域

本发明涉及网络信息采集领域，特别涉及一种基于云计算技术的数据采集系统及方法。

背景技术

随着互联网技术的高速发展，其所包含的信息量正在以指数型趋势高速增长，由此导致人们在海量的信息中需要花费大量的精力来找寻自己需要的信息，因此人们对于随时随地获取自身所需求信息的渴望越来越强烈。通过采用搜索引擎，可以帮助人们快速的查找到想要的信息。然而现在的搜索引擎返回的结果往往包含大量非相关内容，当前技术中还采用网络爬虫来进行资源的搜集和抓取。尽管现在的网络爬虫技术已经快速发展，各种网络数据采集平台应运而生，但是多数网站不断改版，反扒手段也在不断升级，网络数据采集技术仍旧需要探讨和改进。现有的爬虫工具往往需要根据具体的应用环境以及站点特征进行专门开发，针对网站改版、更换环境、需求扩展等变化很难作出快速响应，扩展性差，不能够满足不同用户的不同需求。尤其对于依托数据、有舆情监控需求的公司，数据采集的实时性直接决定了数据的有效性和价值，同时需要监控海量站点，对事件的发生、经过和结果进行跟踪，而反观传统的网络爬虫，人员要求多，开发速度慢，普遍适用性较低，开发运维成本较高，已经不能满足这种海量监控、实时性高、数据量大的需求了。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：提供一种基于云计算技术的分布式数据采集系统及方法，可配置，稳定性高，具备分钟级的横向添加机器扩展系统性能的能力，内置多任务系统，支持任务级别的灵活调度及一键化的部署运维。此外，通过可视化的界面监控并管理采集层、分析层、存储层的行为，有效控制数据采集的频率、监控数据采集系统的运行状态等。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于云计算技术的分布式数据采集系统，包括任务调度器、生成器、下载器、解析器以及多种特色插件；

所述任务调度器用于根据每一个数据采集任务调度所述生成器、下载器以及解析器，从而采集到与每一个数据采集任务相关的数据；

所述生成器用于根据所述任务调度器的调度以生成与该数据采集任务对应的每一个待采集网站相关页面的URI；

所述下载器用于根据所述任务调度器的调度以下载所述每一个待采集网站相关页面的URI所对应的原始数据；

所述解析器用于根据所述任务调度器的调度以对所述下载器下载的原始数据解析为结构化数据并导出到所述数据存储模块中。

所述特色插件包含验证码识别、IP代理、OCR识别、NLP处理等具备特殊用途的功能模块。

进一步的，还包括生成器自定义模块，用于供用户预先根据待采集网站页面的特征自定义对应的生成器生成规则，从而使得所述生成器能够根据对应的规则生成所述待采集的网站的URI。

进一步的，还包括下载器自定义模块，用于供用户预先根据待采集的网站的特征自定义对应的下载器规则，从而使得所述下载器能够根据对应的规则下载所述待采集网站的URI对应的公开数据。

进一步的，还包括解析器自定义模块，用于供用户预先根据待采集的网站页面的特征自定义对应的解析器解析规则，从而使得所述解析器能够根据相应的规则解析所述待采集网站的公开数据。