[发明专利]数据采集系统及方法

说明书

技术领域

本公开涉及数据采集技术领域，尤其涉及一种数据采集系统及方法。

背景技术

数据采集是管理决策和数据分析中重要的组成部分。目前，随着物联网、大数据等技术的兴起和发展，数据采集的重要程度和质量要求都大幅提高。物联网引入了大量的采集点和采集手段，精确的管理决策和大数据分析要求大量的数据输入，因而需要缩短数据的采集周期、增加数据的采集频率，从而获取更多的采样数据。

图1示出相关技术中数据采集中心的示意图。如图1所示，数据采集中心将各种类型的采集功能集中在一个数据采集模块中，并在一个进程中完成数据采集和数据分析。

发明内容

有鉴于此，本公开提出了一种数据采集系统及方法，以解决相关技术中数据采集存在的采集类型单一、采集周期较长和采集能力较差的问题。

根据本公开的一方面，提供了一种数据采集系统，包括：

数据采集策略模块，与数据采集任务调度模块连接，用于获取根据数据采集需求生成的数据采集策略，并向所述数据采集任务调度模块发送所述数据采集策略；

数据采集任务调度模块，与至少一数据采集模块连接，用于根据所述数据采集策略生成数据采集任务，其中，所述数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，从所述至少一数据采集模块中确定执行所述数据采集任务的第一数据采集模块，并向所述第一数据采集模块发送所述数据采集任务；

至少一数据采集模块，其中，所述数据采集模块用于在接收到来自于所述数据采集任务调度模块的数据采集任务的情况下，根据所述数据采集任务采集数据。

在一种实现方式中，所述系统还包括：

数据采集注册模块，与所述数据采集任务调度模块连接，用于在接收到来自于新数据采集模块的注册请求的情况下，获取所述注册请求中新数据采集模块的调用参数和能够采集的采集内容；建立所述新数据采集模块能够采集的采集内容与数据采集模块之间的对应关系。

在一种实现方式中，所述数据采集任务调度模块还用于：

建立所述第一数据采集模块的至少一第一复本，并向所述第一数据采集模块和至少一第一复本发送所述数据采集任务，以使所述第一数据采集模块和至少一第一复本共同执行所述数据采集任务。

在一种实现方式中，所述数据采集任务调度模块还用于，确定并销毁完成任务的第一复本。

在一种实现方式中，所述系统还包括：

数据分析模块，用于获取根据数据分析需求生成的数据分析策略；根据所述数据分析策略生成数据分析任务；根据所述数据分析任务对所述数据采集模块采集的数据进行分析。

在一种实现方式中，所述数据采集任务调度模块还用于：

建立所述数据分析模块的至少一第二复本，并向所述数据分析模块和至少一第二复本发送所述数据分析任务，以使所述数据分析模块和至少一第二复本共同执行所述数据分析任务；以及，确定并销毁完成任务的第二复本。

在一种实现方式中，所述系统还包括：

数据处理模块，用于获取根据数据处理需求生成的数据处理策略；根据所述数据处理策略生成数据处理任务；根据所述数据处理任务对所述数据采集模块采集的数据进行处理。

在一种实现方式中，所述数据采集任务调度模块还用于：

建立所述数据处理模块的至少一第三复本，并向所述数据处理模块和至少一第三复本发送所述数据处理任务，以使所述数据处理模块和至少一第三复本共同执行所述数据处理任务；以及，确定并销毁完成任务的第三复本。

在一种实现方式中，所述数据采集任务调度模块还用于：

将所述数据采集任务中的第一采集任务发送给所述数据采集模块，将所述数据采集任务中的第二采集任务发送给所述数据采集模块的复本。

根据本公开的另一方面，提供了一种数据采集方法，所述方法包括：

获取根据数据采集需求生成的数据采集策略；

根据所述数据采集策略生成数据采集任务，其中，所述数据采集任务包括采集内容；根据采集内容与数据采集模块之间的对应关系，确定用于执行所述数据采集任务的第一数据采集模块；

向所述第一数据采集模块发送启动指令，启动对应的第一数据采集进程，以使所述第一数据采集进程执行所述数据采集任务。

在一种实现方式中，所述方法还包括：

在接收到来自于新数据采集模块的注册请求的情况下，获取所述注册请求中新数据采集模块的调用参数和能够采集的采集内容；