[发明专利]一种基于Actor模型的数据处理重试方法

说明书

技术领域

本发明涉及大数据处理技术领域，特别是一种基于Actor模型的数据处理重 试方法。

背景技术

随着云时代的来临，大数据也吸引了越来越多的关注，也产生了一系列的大 数据处理技术与方法，其中流式处理是其中一种关键技术。在大数据的流式处理 过程中，通常会依赖各种各样的外部服务，比如存储至NOSQL库、索引系统。当 这些外部服务，出现异常情况下，数据将无法正常处理，导致数据无法进入下一 处理环节，从而丢失宝贵的数据。

中国发明专利CN104317970A公开了一种基于数据加工中心的数据流式处理 方法，所述数据加工中心预定义有包括数据校验、排序、聚合和分组的加工方 法步骤，以及两个不同加工方法步骤之间的连接关系；数据加工中心还设置有 用于连接数据源的数据源接入端口、用于连接用户界面的数据加工方法及流程 定义接入端口、目标数据输出端口以及用于连接流程监控单元的加工流程监控 接口；数据流式处理方法包括数据获取、流式处理配置、数据加工方法配置以 及目标数据源的获得等步骤，用户可通过用户界面配置数据的获得等步骤，用 户可通过界面配置数据加工方法和定义数据加工流程，从而得到相应的目标数 据源。虽然，此发明利用大数据平台采用数据流式处理，可提高大数据处理速 度，扩大可支持的数据加工方法种类范围；但是，无法再出现异常情况时，正 常处理数据。

发明内容

本发明需要解决的技术问题提供一种在外部服务出现异常情况时，数据还能 正常处理的大数据处理方法。

为解决上述的技术问题，本发明的一种基于Actor模型的数据处理重试方法， 包括以下步骤，

步骤S101：数据处理，本数据处理环节Actor进行数据处理；

步骤S102：处理情况判断，判断数据处理后，处理情况是否正常，如果是， 则进入步骤S107；如果否，则进入步骤S103；

步骤S103：判断是否有重试处理机会，判断处理情况异常的数据是否还有 重试处理机会，如果否，则进入步骤S106；如果是，则进入步骤S104；

步骤S104：数据消息发送，将处理情况异常的数据消息发送至重试处理器；

步骤S105：重试数据处理，取出重试处理器中的数据发送至本数据处理环 节Actor，返回步骤S101；

步骤S106：丢弃消息，将没有重试处理机会的数据消息丢弃，不再将数据 发送下一数据处理环节处理；

步骤S107：下一数据环节处理，数据处理情况正常的数据进入下一数据环 节处理。

进一步的，所述步骤S104中将数据消息发送至重试处理器前更新待重试的 重试次数以及降低延迟处理时间。

更进一步的，所述步骤S105中重试处理器根据数据延迟处理时间，取出带 最短的延迟处理时间的数据，发送至本数据处理环节Actor。

更进一步的，所述步骤S105中重试处理器根据数据延迟处理时间的不同将 数据存入到延迟队列中，从而从延迟队列中取出带最短延迟处理时间的数据。

采用上述方法后，本发明充分确保异常数据得到正确的处理；另外，通过延 迟队列，确保数据重试的处理的优先级，保证急需处理的数据得到优先处理； 利用Actor模型，保证待重试处理的数据与待处理数据，均能得到处理，确保 数据的正常处理。

附图说明

下面将结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种基于Actor模型的数据处理重试方法的流程图。

具体实施方式

如图1所示，本发明的一种基于Actor模型的数据处理重试方法，包括以下 步骤，

步骤S101：数据处理，本数据处理环节Actor进行数据处理。利用Actor 模型，保证待重试处理的数据与待处理数据，均能得到处理，确保数据的正常 处理

步骤S102：处理情况判断，判断数据处理后，处理情况是否正常，如果是， 则进入步骤S107；如果否，则进入步骤S103。

步骤S103：判断是否有重试处理机会，判断处理情况异常的数据是否还有 重试处理机会，如果否，则进入步骤S106；如果是，则进入步骤S104。

步骤S104：数据消息发送，更新待重试的重试次数以及降低延迟处理时间， 将处理情况异常的数据消息发送至重试处理器。