[发明专利]分布式消息队列系统的数据处理方法和装置

权利要求书

1.一种分布式消息队列系统的数据处理方法，其特征在于，所述分布式消息队列系统包括用于生产消息的生产者、用于转发所述消息的代理者和用于处理所述消息的消费者，其中，该数据处理方法包括：

获取所述生产者生成的待处理消息的特征；

按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下，其中，所述数据分片包括多个类别的消息；

将所述数据分片发送给所述代理者；以及

指示与所述代理者对应的消费者对所述数据分片中的所述待处理消息进行数据处理，其中，一个所述代理者对应一个所述消费者，一个所述代理者包括多个所述数据分片，一个所述数据分片被分配在一个所述代理者中，并且被一个所述消费者处理。

2.根据权利要求1所述的数据处理方法，其特征在于，将所述数据分片发送给所述代理者包括：

获取第一代理者的数据量和第二代理者的数据量；

判断所述第一代理者的数据量是否大于所述第二代理者的数据量；

如果所述第一代理者的数据量大于所述第二代理者的数据量，则将所述数据分片发送给所述第二代理者；

如果所述第一代理者的数据量小于所述第二代理者的数据量，则将所述数据分片发送给所述第一代理者。

3.根据权利要求1所述的数据处理方法，其特征在于，按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下包括：

获取具有第一特征的第一待处理消息和具有第二特征的第二待处理消息；

判断具有所述第一待处理消息的第一数据分片的数据量是否小于预设数据量；

如果所述第一数据分片的数据量小于所述预设数据量，则将所述第二待处理消息划分在所述第一数据分片中；

如果所述第一数据分片的数据量大于等于所述预设数据量，则将所述第二待处理消息划分在第二数据分片中。

4.根据权利要求1所述的数据处理方法，其特征在于，按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下包括：

提取所述待处理消息中具有相同特征的消息；

从提取到的消息中查找顺序标识；

按照所述顺序标识将所述提取到的消息中的具有所述顺序关系的消息划分在一个所述数据分片下。

5.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，指示与所述代理者对应的消费者对所述数据分片中的所述待处理消息进行数据处理包括：

获取所述代理者的多个数据分片；

轮询所述多个数据分片，以对所述多个数据分片中的数据进行处理。

6.一种分布式消息队列系统的数据处理装置，其特征在于，包括：

获取单元，用于获取生产者生成的待处理消息的特征；

划分单元，用于按照所述特征将具有顺序关系的所述待处理消息划分在一个数据分片下，其中，所述数据分片包括多个类别的消息；

发送单元，用于将所述数据分片发送给代理者；以及

处理单元，用于指示与所述代理者对应的消费者对所述数据分片中的所述待处理消息进行数据处理，其中，一个所述代理者对应一个所述消费者，一个所述代理者包括多个所述数据分片，一个所述数据分片被分配在一个所述代理者中，并且被一个所述消费者处理。

7.根据权利要求6所述的数据处理装置，其特征在于，所述发送单元包括：

第一获取模块，用于获取第一代理者的数据量和第二代理者的数据量；

第一判断模块，用于判断所述第一代理者的数据量是否大于所述第二代理者的数据量；

发送模块，用于在所述第一代理者的数据量大于所述第二代理者的数据量时，将所述数据分片发送给所述第二代理者；在所述第一代理者的数据量小于所述第二代理者的数据量时，将所述数据分片发送给所述第一代理者。