[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，包括：

接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；

将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及

利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据；

其中，所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据包括：

利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务；

其中，所述数据处理方法进一步包括：

监测所述数据库的运行状态；

所述利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务包括：

当所述数据库的运行状态从异常状态转变为正常状态时，利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。

2.如权利要求1所述的数据处理方法，其特征在于，在所述利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据之前，所述数据处理方法进一步包括：

为所述消息队列平均分配消费者进程。

3.如权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法进一步包括：

监测所述消息队列中的至少部分消息队列中的任务失败数据的数据量；以及

基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目。

4.如权利要求3所述的数据处理方法，其特征在于，所述基于所述至少部分消息队列中的任务失败数据的数据量调整与所述至少部分消息队列相对应的消费者进程的数目包括：

如果所述至少部分消息队列中的特定消息队列中的任务失败数据的数据量大于第一阈值并且所述至少部分消息队列中的其他消息队列中的任务失败数据的数据量小于第二阈值，则将与所述其他消息队列相对应的消费者进程的数目减少特定数目并将与所述特定消息队列相对应的消费者进程的数目增加所述特定数目。

5.如权利要求1或2所述的数据处理方法，其特征在于，所述数据处理方法进一步包括：

接收与特定消息队列相关的进程调整指令；以及

根据所述进程调整指令调整与所述特定消息队列相对应的消费者进程的数目。

6.如权利要求1或2所述的数据处理方法，其特征在于，所述接收任务失败数据并对其进行分类包括：

接收所述任务失败数据并根据所述任务失败数据所指示的失败任务的类型对所述任务失败数据进行分类。

7.如权利要求1或2所述的数据处理方法，其特征在于，所述消息队列设置于内存中。

8.一种数据处理装置，包括：

分类模块，用于接收任务失败数据并对其进行分类，其中，所述任务失败数据用于指示与数据库中的数据操作相关的失败任务；

存储模块，用于将所述任务失败数据分别存储到与其所属类别相对应的消息队列中；以及

处理模块，用于利用与每个消息队列相对应的消费者进程消费并处理该消息队列中的任务失败数据；

其中，所述处理模块包括执行子模块，用于利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务；

其中，所述数据处理装置进一步包括数据库监测模块，用于监测所述数据库的运行状态；

所述执行子模块包括执行单元，用于当所述数据库的运行状态从异常状态转变为正常状态时，利用与每个消息队列相对应的消费者进程重新执行该消息队列中的任务失败数据所指示的失败任务。

9.如权利要求8所述的数据处理装置，其特征在于，所述数据处理装置进一步包括分配模块，用于为所述消息队列平均分配消费者进程。