[发明专利]用于基于消息队列处理不同大小的实时任务的设备和方法

说明书

一种用于管理数据消息的设备包括：一个或多个生产者，其产生含有需要处理的不同大小的数据消息的数据流；一个或多个消费者，其用于处理所述数据消息；多消息队列子系统，其用于将具有不同处理持续时间的数据消息列队；速率限制器，其用于基于处理速度区分数据消息，以便在所述多消息队列子系统的一个或另一个消息队列中将所述数据消息列队；公平调度器，其被配置成根据一个或多个消费者的处理状态将所述数据消息调度到所述一个或多个消费者，以最大化所述设备的处理容量；以及任务分割器，其用于分割被认为过大的数据消息。

技术领域

本发明总体来说为涉及计算机数据通信和任务调度的技术，且更确切地说，涉及用于消息列队的系统和方法。更确切地说，本发明涉及使用消息队列处理具有不同大小的多个数据流的系统和方法。

背景技术

近年来，社交媒体已成为广告业的重要部分。它还表现在许多业务功能中，从市场营销、客户关系管理到风险管理。随着社交媒体和其它新形式的多方通信和协作技术的普及，产生了越来越多的数据，进而需要更多处理和分析以便从中提取有用信息。这些仅是对计算资源具有越来越高的要求的几个示例性应用。包含密码应用、监测、机器学习/人工智能(AI)应用、机器人和自主装置等的其它应用也产生了巨大的数据量，并且对计算机处理能力有要求。

参照图1是一个当今的数据分析平台的示例。在此平台中，不同任务大小的社交媒体数据的多个数据流由数据处理系统处理，所述数据处理系统包括：一个或多个生产者装置(101)，其用于创建数据消息且将其递送到消息队列；消息队列(102)，其用于从所述生产者装置接收数据消息(103)，并且将所述数据消息调度到一个或多个消费者装置；以及一个或多个消费者装置(104)，其连接到消息队列以将所述数据消息作为任务进行消费和处理。

在许多应用(例如，多事务在线应用、大数据分析、密码验证、数据文件下载等)中，消息队列用于充当各种服务的中介，以负载均衡、容错和/或并行处理的目的将任务委托给多个消费者。

传统上，在此类采用消息队列的系统下，即使提交的是小任务，如果队列中在该小任务之前已经存在一些大任务，那么用户或任务所有者通常也要等待很长时间。系统很难公平地做出响应，因为不同数据流可能是动态地加入数据分析平台的，且数据大小在处理数据之前不可预测。在某些极端情形中，当开始处理巨大任务时，任务自身也会花费过多时间并且造成超时错误。同时也很难保证大量数据流的及时处理。因此，迫切地需要一种使用消息队列公平地且及时地管理和处理数据消息和任务的技术。

发明内容

本发明提供一种采用多个消息队列管理和处理数据消息的设备和方法，其具有公平消息调度机制、使用多个消息队列和可调控的消息处理速度或速率，以及消息分割功能，用以解决现有技术在使用消息队列的及时性和公平性方面的不足。

根据本发明的一个方面，本发明提供一种用于管理数据消息(或任务)的设备。所述设备包括：一个或多个生产者，其产生需要处理的不同大小的数据消息(或任务)；一个或多个消费者，其用于处理数据消息(或任务)；一个多消息队列子系统，其允许具有不同处理持续时间的数据消息(或任务)在其中列队；速率限制器，其基于处理速度区分数据消息(或任务)，以便在多消息队列子系统的一个或另一个消息队列中将所述数据消息(或任务)列队；公平调度器，其用于根据一个或多个消费者的处理状态将数据消息(或任务)调度到所述一个或多个消费者，以最大化设备的处理能力；以及任务分割器，其用于分割被认为过大的数据消息(或任务)。每一个数据消息(或任务)都与任务所有者相关联，任务所有者可为人类用户、例如组织的逻辑实体，或物理或逻辑计算装置。多个生产者有可能产生与同一任务所有者相关联的数据消息(或任务)。

根据一个实施例，每一个消费者都包含有速率限制器、任务分割器和用于与速率限制器和任务分割器交互的一组条件逻辑指令；其中所述交互包含接收来自速率限制器的输出，引导数据消息(或任务)进行处理、重新列队或分割，以及触发任务分割器将被认为过大的数据消息(或任务)分割成较小的子数据消息(或子任务)。