[发明专利]一种集中式互联网数据采集系统及采集方法

权利要求书

1.一种集中式互联网数据采集系统，其特征在于，包括采集设备、调度模块和数据存储模块；

所述数据存储模块，用于以任务队列的形式存储数据采集任务，其中，所述数据采集任务为通过Web页面指定；

所述调度模块，用于主动轮询所述任务队列中的未完成任务，将未完成任务存储于本地调度缓存中；

所述采集设备，用于主动轮询所述调度模块的本地调度缓存中的未完成任务，根据未完成任务的任务属性，分配对应的采集模块进行任务数据的采集；

其中，所述采集设备为集成式多通道ARM服务器，所述ARM服务器包括多路CPU资源，能够同时模拟多个采集模块。

2.根据权利要求1所述的集中式互联网数据采集系统，其特征在于，所述任务队列包括第一任务队列和第二任务队列；

相应的，所述数据存储模块，具体用于：

当有数据采集任务到来时，按照数据采集任务的属性将数据采集任务放入对应的任务队列中；

其中，当相同属性的数据采集任务由多个时，按照优先级的高低将多个数据采集任务放入对应的任务队列中；

其中，所述第一任务队列用于存储Web类应用的数据采集任务，所述第二任务队列用于存储Android类应用的数据采集任务。

3.根据权利要求2所述的集中式互联网数据采集系统，其特征在于，所述数据存储模块还用于：

当单个数据采集任务为同时包含Web类应用和Android类应用的数据采集任务时，将所述单个数据采集任务拆分为Web类应用的数据采集子任务和Android类应用的数据采集子任务；

将Web类应用的数据采集子任务和Android类应用的数据采集子任务分别存储到第一任务队列和第二任务队列中。

4.根据权利要求3所述的集中式互联网数据采集系统，其特征在于，所述调度模块，具体用于：

定时主动轮询所述第一任务队列和所述第二任务队列中的未完成数据采集任务，并将未完成数据采集任务存储于本地调度缓存中。

5.根据权利要求1所述的集中式互联网数据采集系统，其特征在于，所述采集设备包括第一信息采集模块和第二信息采集模块；

所述采集设备，用于主动轮询所述调度模块的本地调度缓存中的未完成任务，根据未完成任务的任务属性，分配对应的采集模块进行任务数据的采集包括：

当未完成任务的任务属性为Web类型应用时，则分配第一信息采集模块进行Web应用类数据的采集；

当未完成任务的任务属性为Android类应用时，则分配第二信息采集模块进行Android类应用数据的采集。

6.根据权利要求5所述的集中式互联网数据采集系统，其特征在于，

所述第一信息采集模块，用于根据数据采集任务使用requests技术，构造各种HTTP或HTTPS请求发送给特定页面，并通过特定页面采用headless方式完成特定页面的数据采集。

7.根据权利要求5所述的集中式互联网数据采集系统，其特征在于，

所述第二信息采集模块，用于根据数据采集任务内容启动对应Android应用数据包，直接使用accessbility操作用户界面获取数据内容，或者采用Xposed通过接口拦截获取数据内容。

8.根据权利要求5所述的集中式互联网数据采集系统，其特征在于，所述采集设备还用于：

当数据采集完毕后，将任务结构化数据和采集结果非结构化数据发送给所述调度模块；

所述调度模块，用于将任务结构化数据和采集结果非结构化数据发送给所述数据存储模块；

其中，所述任务结构化数据包括数据采集任务摘要和结果数据描述信息，所述采集结果非结构化数据包括数据采集任务的状态结果。

9.根据权利要求1-8任一项所述的集中式互联网数据采集系统，其特征在于，所述系统还包括数据处理模块；

所述数据处理模块，用于将任务结构化数据和采集结果非结构化数据按照不同的维度进行统计和归类，并进行展示。

10.一种集中式互联网数据采集方法，其特征在于，包括：

根据通过Web页面指定的数据采集任务，以任务队列的形式存储数据采集任务；

主动轮询所述任务队列中的未完成任务，并根据未完成任务的任务属性，分配对应的采集模块进行任务数据的采集。