[发明专利]基于云计算技术的数据采集系统及方法

权利要求书

1.一种基于云计算技术的数据采集系统，包括任务调度器、生成器、下载器以及解析器；

其特征在于：所述任务调度器用于根据每一个数据采集任务调度所述生成器、下载器以及解析器，从而采集到与每一个数据采集任务相关的数据；

所述生成器用于根据所述任务调度器的调度以生成与该数据采集任务对应的每一个待采集网站相关页面的URI；

所述下载器用于根据所述任务调度器的调度以下载所述每一个待采集网站相关页面的URI所对应的原始数据；

所述解析器用于根据所述任务调度器的调度以对所述下载器下载的原始数据解析为结构化数据,

还包括生成器自定义模块，用于供用户预先根据待采集网站页面的特征自定义对应的生成器生成规则，从而使得所述生成器能够根据对应的规则生成所述待采集的网站的URI；

还包括下载器自定义模块，用于供用户预先根据待采集的网站的特征自定义对应的下载器规则，从而使得所述下载器能够根据对应的规则下载所述待采集网站的URI对应的原始数据；

还包括解析器自定义模块，用于供用户预先根据待采集的网站页面的数据特征自定义对应的解析器解析规则，从而使得所述解析器能够根据相应的规则解析所述下载器下载的所述待采集网站的原始数据；

还包括数据存储模块，用于存储所述数据采集任务相关的配置信息及用户自定义规则；还用于存储所述生成器生成的与所述数据采集任务相关的每一个待采集网站相关页面的URI以供所述下载器调用；还用于存储所述下载器下载的与所述每一个待采集网站的原始数据以供所述解析器调用；还用于存储所述解析器解析的结构化数据；

还包括采集层、结构化层以及存储层，所述存储层包括所述数据存储模块和防重器，所述采集层包括所述的生成器以及所述的下载器，所述结构化层包括所述的解析器；

还包括系统层，所述系统层用于每一个数据采集任务及其对应于每一个网站的子任务的管理、系统管理以及权限管理，所述系统管理包括插件管理、存储管理、报警管理、防重器管理、机器管理，所述插件管理包含所述生成器、下载器、解析器、验证码识别、IP代理、OCR和NLP模块管理，所述权限管理包含角色权限管理、用户管理、组权限、权限列表以及操作日志管理，所述子任务管理用于直观查看每个子任务的进度、错误日志数据，以方便监控运维，

所述任务调度器按照与所述数据采集任务相关的网站优先级顺序由先至后的为对应的网站采集任务调度所述生成器、下载器以及解析器，完成整体流程的调度和控制，以由先至后的依次完成对应网站的数据采集，从而实现对众多采集任务的调度和数据采集；

所述任务调度器包括生成任务调度器，用于获取与所述数据采集任务相关的每一个待采集的网站页面URI生成的调度配置信息，以获得每一个待采集网站的调度时序，并根据所述调度时序激活分发工作，从而由先至后依次为每一个待采集网站页面插入对应的生成器至任务分发队列，并开启进程以执行对应的生成器，从而使其按照相应规则生成对应网站页面的URI；

所述任务调度器包括下载任务调度器，用于获取与所述数据采集任务相关的每一个待采集网站页面下载的调度配置信息，以获得每一个待采集网站页面的调度时序，并根据所述调度时序激活分发工作，从而由先至后依次为每一个待采集网站页面插入对应的下载器至下载任务分发队列，并开启进程以执行对应的下载器，从而使其下载与对应网站页面URI相关的原始数据；

所述任务调度器包括解析任务调度器，用于获取与所述数据采集任务相关的每一个待采集的网站页面原始数据解析的调度配置信息，以获得每一个待采集网站页面的调度时序，并根据所述调度时序激活分发工作，并开启进程以执行对应的解析器，从而使其将与对应网站相关的原始数据解析为结构化数据。

2.一种应用如权利要求1所述基于云计算技术的数据采集系统的网站公开数据采集方法，包括以下步骤：

加载数据采集任务；

根据数据采集任务调度生成器以生成与该数据采集任务对应的每一个待采集网站页面的URI；

根据所述生成的所述待采集网站页面的URI调度下载器以下载所述每一个待采集网站页面的URI对应的原始数据；

根据所述下载器下载的每一个待采集网站页面对应的URI对应的原始数据调度解析器以对所述下载器下载的原始数据进行解析并结构化存储；

其特征在于，在获取数据采集任务的步骤之前，还包括：

据待采集的网站的特征配置对应的生成器参数或生成规则脚本，从而使得所述生成器能够根据配置的参数或生成规则生成所述待采集网站页面的URI；

在所述获取数据采集任务的步骤之前，还包括：

根据待采集的网站的特征和数据采集需求配置对应的下载器参数，配置并激活相关插件，从而使得所述下载器能够根据配置的参数下载所述待采集网站页面的URI所对应的公开数据；

在所述获取数据采集任务的步骤之前，还包括：

根据待采集的网站的特征配置对应的解析器参数、解析规则脚本以及数据导出配置脚本，从而使得所述解析器能够根据配置的参数或解析规则解析所述待采集网站页面的原始数据并结构化存储在所述数据存储模块中。