[发明专利]一种基于Actor模型的数据采集方法、装置及存储介质

权利要求书

1.一种基于Actor模型的数据采集方法，其特征在于，包括：

检测任务集群中是否存在新增的目标任务；

在检测到任务集群中存在新增的目标任务的情况下，为所述目标任务创建Actor模型，所述Actor模型包括多个数据采集器，所述数据采集器用于采集数据，所述多个数据采集器之间通过消息传递的方式通信；

将所述多个数据采集器划分到多个阶段，并设定所述多个阶段的触发顺序，每个阶段包含至少一个数据采集器，相同阶段的不同数据采集器位于不同的终端中，分别用于采集不同终端中的数据；

按照所述多个阶段的触发顺序，确定当前待触发阶段；

若确定所述待触发阶段位于所述触发顺序的首位，或者确定接收到所述待触发阶段的前一阶段的所有数据采集器的完成采集的信息，则触发所述待触发阶段的所有数据采集器采集数据，所述完成采集的信息用于指示所述数据采集器完成了数据采集；

在接收到所述待触发阶段的所有数据采集器的完成采集的信息的情况下，触发所述待触发阶段的下一阶段的所有数据采集器采集数据，直至接收到所述多个阶段的所有数据采集器的完成采集的信息；

在检测到所述多个阶段的所有数据采集器全部采集完数据之后，在所述任务集群中删除所述目标任务。

2.根据权利要求1所述的方法，其特征在于，在所述触发所述待触发阶段的所有数据采集器采集数据之前，所述方法还包括：

获取所述待触发阶段的前一阶段的所有数据采集器采集到的数据，并将所述待触发阶段的前一阶段的所有数据采集器采集到的数据保存到本地数据库中；

接收到所述待触发阶段的目标数据采集器的数据请求指令，所述数据请求指令用于请求所述本地数据库中的目标数据；

在所述本地数据库中调取所述目标数据，并将所述目标数据发送给所述目标数据采集器；

在接收到所述待触发阶段的所有数据采集器的采集完成消息的情况下，将所述待触发阶段的所有数据采集器采集到的数据保存到所述本地数据库中。

3.根据权利要求1所述的方法，其特征在于，所述检测任务集群中是否存在新增的目标任务，包括：

检测所述任务集群中新增的任务；

若确定所述新增的任务为分布式任务，则确定检测到所述任务集群中存在新增的目标任务。

4.根据权利要求1所述的方法，其特征在于，所述在所述任务集群中删除所述目标任务之后，还包括：

检测已创建的数据采集器的个数，并获取所述已创建的数据采集器的创建时间；

若所述已创建的数据采集器的个数大于预设个数，则按照所述创建时间从早到晚的排序，依次删除所述已创建的数据采集器，直到剩下的已创建的数据采集器的个数小于或等于所述预设个数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到宕机的数据采集器的情况下，删除所述宕机的数据采集器；

获取所述宕机的数据采集器的初始化信息；

利用所述初始化信息创建新的数据采集器，以替代所述宕机的数据采集器。

6.根据权利要求1所述的方法，其特征在于，所述Actor模型还包括至少一个监控节点，所述监控节点用于初始化宕机的数据采集器，所述方法还包括：

若检测到宕机的数据采集器，则利用所述监控节点对所述宕机的数据采集器进行初始化，以控制所述宕机的数据采集器恢复正常。