[发明专利]一种基于Actor模型的数据采集方法、装置及存储介质

摘要

本申请公开了一种基于Actor模型的数据采集方法、数据采集装置及计算机可读存储介质，应用于数据处理领域，其中方法包括：检测任务集群中是否存在新增的目标任务；在检测到任务集群中存在新增的目标任务的情况下，为目标任务创建Actor模型，Actor模型包括多个数据采集器；将多个数据采集器划分到多个阶段，并设定多个阶段的触发顺序；按照多个阶段的触发顺序，依次触发多个阶段的数据采集器采集数据；在检测到多个阶段的数据采集器全部采集完数据之后，在任务集群中删除目标任务。本申请中的多个数据采集器都为Actor并且设定了不同数据采集器的执行顺序，使得不需要锁便能调度多个数据采集器完成数据采集。

主权项

1.一种基于Actor模型的数据采集方法，其特征在于，包括：检测任务集群中是否存在新增的目标任务；在检测到任务集群中存在新增的目标任务的情况下，为所述目标任务创建Actor模型，所述Actor模型包括多个数据采集器，所述数据采集器用于采集数据，所述多个数据采集器之间通过消息传递的方式通信；将所述多个数据采集器划分到多个阶段，并设定所述多个阶段的触发顺序，每个阶段包含至少一个数据采集器，相同阶段的不同数据采集器位于不同的终端中，分别用于采集不同终端中的数据；按照所述多个阶段的触发顺序，依次触发所述多个阶段的数据采集器采集数据；在检测到所述多个阶段的所有数据采集器全部采集完数据之后，在所述任务集群中删除所述目标任务。