[发明专利]一种基于消息队列的分布式任务处理的方法、装置及系统

权利要求书

1.一种基于消息队列的分布式任务处理方法，其特征在于，任务消息队列组中的每个消息队列存储任务处理节点承载的一种处理任务，该方法包括：

A，所述任务处理节点按照自身承载的处理任务的优先级级别，确定存储所述处理任务的消息队列的优先级级别；

B，所述任务处理节点按照优先级级别由高到低的顺序，从优先级级别最高的消息队列开始依次扫描所述任务消息队列组中的消息队列，若扫描到包含处理任务的消息队列，执行步骤C，否则，重复步骤B；

C，所述任务处理节点获取当前处理任务，并执行所述当前处理任务，执行完之后返回步骤B，其中，所述当前处理任务存储在所述包含处理任务的消息队列中。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述任务处理节点根据业务需求确定自身承载的处理任务的优先级级别，或者，预先设置所述处理任务的优先级级别。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

调度器接收到所述处理任务后，根据所述处理任务的类型将所述处理任务发送至所述任务消息队列组中与所述处理任务的类型关联的消息队列。

4.根据权利要求3所述的方法，其特征在于，所述调度器接收到所述处理任务之前，还包括：

对原始任务进行分割得到至少一个处理任务，并对与所述原始任务关联的数据文件进行相应的分割得到至少一个分片，使得每个处理任务都对应一个与所述处理任务相匹配的分片。

5.根据权利要求4所述的方法，其特征在于，所述原始任务为原始视频任务，所述处理任务为视频处理任务；

则，所述对原始任务进行分割得到至少一个处理任务，并对与所述原始任务关联的数据文件进行相应的分割得到至少一个分片，使得每个处理任务都对应一个与所述处理任务相匹配的分片，包括：

根据预先设置的分割策略对所述原始视频任务进行分割得到至少一个视频处理任务，并在I帧的位置对与所述原始视频任务关联的视频数据文件进行分割得到至少一个分片，使得每个视频处理任务都对应一个与所述视频处理任务相匹配的分片；

其中，所述分割策略保证在I帧的位置对视频数据文件进行分割。

6.根据权利要求1或2所述的方法，其特征在于，所述任务处理节点获取所述当前处理任务，并执行所述当前任务，包括：

所述任务处理节点获取所述包含处理任务的消息队列中未被执行的任一处理任务，并执行所述未被执行的任一处理任务；或者，

所述任务处理节点获取所述包含处理任务的消息队列中未被执行的队首处理任务，并执行所述未被执行的队首处理任务。

7.一种任务处理节点，其特征在于，包括：

消息队列优先级级别确定单元，用于按照自身承载的处理任务的优先级级别，确定存储所述处理任务的消息队列的优先级级别；

扫描单元，用于根据所述消息队列优先级级别确定单元确定的所述消息队列的优先级级别，按照优先级级别由高到低的顺序，从优先级级别最高的消息队列开始依次扫描任务消息队列组中的消息队列；

任务执行单元，用于在所述扫描单元扫描到包含处理任务的消息队列时，获取当前处理任务，并执行所述当前处理任务，其中，所述当前处理任务存储在所述包含处理任务的消息队列中。

8.根据权利要求7所述的任务处理节点，其特征在于，还包括：

处理任务优先级级别确定单元，用于根据业务需求确定任务处理节点承载的处理任务的优先级级别，或者，预先设置所述处理任务的优先级级别，以便所述消息队列优先级级别确定单元确定所述任务消息队列组中消息队列的优先级级别。

9.根据权利要求7或8所述的任务处理节点，其特征在于，还包括：

分割单元，用于对原始任务进行分割得到至少一个处理任务，并对所述原始任务对应的数据文件进行相应的分割得到至少一个分片，使得每个处理任务都对应一个与所述处理任务相匹配的分片，以便调度器根据所述处理任务的类型将所述处理任务发送至所述任务消息队列组中与所述处理任务的类型关联的消息队列，使得所述扫描单元扫描分割后的处理任务。