[发明专利]一种基于Actor模型的数据采集方法、装置及存储介质

说明书

本申请公开了一种基于Actor模型的数据采集方法、数据采集装置及计算机可读存储介质，应用于数据处理领域，其中方法包括：检测任务集群中是否存在新增的目标任务；在检测到任务集群中存在新增的目标任务的情况下，为目标任务创建Actor模型，Actor模型包括多个数据采集器；将多个数据采集器划分到多个阶段，并设定多个阶段的触发顺序；按照多个阶段的触发顺序，依次触发多个阶段的数据采集器采集数据；在检测到多个阶段的数据采集器全部采集完数据之后，在任务集群中删除目标任务。本申请中的多个数据采集器都为Actor并且设定了不同数据采集器的执行顺序，使得不需要锁便能调度多个数据采集器完成数据采集。

技术领域

本申请涉及数据采集领域，尤其涉及一种基于Actor模型数据采集方法、装置及计算机可读存储介质。

背景技术

数据采集常常因为多线程或多进程并发访问某个临界资源而陷入死锁，这时可通过对该临界资源进行加锁，来建立线程或进程之间的互斥同步机制，以保障临界资源的完整性和一致性。单机的进程同步和线程同步有很多可用的互斥方案，比如互斥锁、信号量和条件变量等。但这些单机下的互斥方案在多机上是无法使用的，因为分布式系统的组件运行在不同的机器上，使得其不在统一的运行环境中。

分布式数据采集中，常常通过分布式锁解决对临界资源的互斥访问，比如Redis分布式锁和Zookeeper分布式锁的等。

但是分布式锁的实现比较复杂，且维护比较麻烦，需要较多维护成本，因此分布式锁不是一个解决分布式数据采集的死锁问题的理想方案，还是缺少了一种可以更高效的分布式数据采集方法。

发明内容

本申请实施例提供一种数据采集方法，可以不使用锁便实现分布式数据采集。

第一方面，本申请实施例提供了一种数据采集方法，该方法包括：

检测任务集群中是否存在新增的目标任务；

在检测到任务集群中存在新增的目标任务的情况下，为所述目标任务创建Actor模型，所述Actor模型包括多个数据采集器，所述数据采集器用于采集数据，所述多个数据采集器之间通过消息传递的方式通信；

将所述多个数据采集器划分到多个阶段，并设定所述多个阶段的触发顺序，每个阶段包含至少一个数据采集器，相同阶段的不同数据采集器位于不同的终端中，分别用于采集不同终端中的数据；

按照所述多个阶段的触发顺序，依次触发所述多个阶段的数据采集器采集数据；

在检测到所述多个阶段的所有数据采集器全部采集完数据之后，在所述任务集群中删除所述目标任务。

第二方面，本申请实施例提供了一种数据采集装置，该数据采集装置包括用于执行上述第一方面的数据采集方法的单元，该数据采集装置包括：

检测单元，用于检测任务集群中是否存在新增的目标任务；

创建单元，用于在检测到任务集群中存在新增的目标任务的情况下，为所述目标任务创建Actor模型，所述Actor模型包括多个数据采集器，所述数据采集器用于采集数据，所述多个数据采集器之间通过消息传递的方式通信；

划分单元，用于将所述多个数据采集器划分到多个阶段，并设定所述多个阶段的触发顺序，每个阶段包含至少一个数据采集器，相同阶段的不同数据采集器位于不同的终端中，分别用于采集不同终端中的数据；

执行单元，用于按照所述多个阶段的触发顺序，依次触发所述多个阶段的数据采集器采集数据；

删除单元，用于在检测到所述多个阶段的数据采集器全部采集完数据之后，在所述任务集群中删除所述目标任务。