[发明专利]消息存储、读取方法及装置、服务器、存储介质

权利要求书

1.一种消息存储方法，其特征在于，所述方法应用于卡夫卡Kafka集群；所述方法包括：

接收在所述Kafka集群存储消息的第一消息存储请求，所述第一消息存储请求指定在虚拟存储地址存储所述第一消息存储请求指定的消息，所述虚拟存储地址包括虚拟话题topic的标识和虚拟分区的标识；

基于所述虚拟存储地址与第一真实存储地址的对应关系，确定与所述虚拟存储地址对应的所述第一真实存储地址，所述第一真实存储地址包括第一真实topic的标识和第一真实分区的标识；

在所述第一真实存储地址指定的所述第一真实topic中的所述第一真实分区，存储所述第一消息存储请求指定的消息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收在所述Kafka集群存储消息的第二消息存储请求，所述第二消息存储请求指定在所述虚拟存储地址存储所述第二消息存储请求指定的消息；

基于所述虚拟存储地址与第二真实存储地址的对应关系，确定与所述虚拟存储地址对应的所述第二真实存储地址，所述第二真实存储地址包括第二真实topic的标识和第二真实分区的标识；

在所述第二真实存储地址指定的所述第二真实topic中的所述第二真实分区，存储所述第二消息存储请求指定的消息。

3.根据权利要求2所述的方法，其特征在于，所述第一真实分区与所述第二真实分区部署在所述Kafka集群中的不同存储节点上。

4.根据权利要求2或3所述的方法，其特征在于，所述第二消息存储请求的接收时间晚于所述第一消息存储请求的接收时间。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在接收所述第二消息存储请求之前，预估在预设时间段内接收的所述第二消息存储请求所指定的消息的预存数据量；

当所述预存数据量大于第一阈值时，建立所述虚拟存储地址与所述第二真实存储地址的对应关系。

6.根据权利要求4所述的方法，其特征在于，所述方法包括：

在接收所述第二消息存储请求之前，预估在预设时间段内待在所述第一真实分区所在的第一真实topic中存储的消息的预存数据量；

当所述预存数据量大于第二阈值时，建立所述虚拟存储地址与所述第二真实存储地址的对应关系。

7.根据权利要求5或6所述的方法，其特征在于，所述建立所述虚拟存储地址与所述第二真实存储地址的对应关系，包括：

对于与所述第一真实topic存在对应关系的多个目标虚拟topic，基于所述目标虚拟topic的第三数据量，查找可用数据量大于所述第三数据量的真实topic，所述可用数据量为所述真实topic的数据量额度与所述预存数据量的差值；

当确定存在可用数据量大于所述第三数据量的真实topic时，将所述可用数据量大于所述第三数据量的真实topic确定为第二真实topic；

当确定不存在可用数据量大于所述第三数据量的真实topic时，在所述消息存储系统中创建第二真实topic；

将与所述目标虚拟topic对应的虚拟存储地址与真实存储地址的对应关系，修改为所述虚拟存储地址与包括所述第二真实topic的第二真实存储地址对应。

8.根据权利要求5至6任一所述的方法，其特征在于，所述建立所述虚拟存储地址与所述第二真实存储地址的对应关系，还包括：

确定第一消息在所述第二真实topic中的消息偏移量，所述第一消息为基于所述虚拟存储地址与所述第二真实存储地址的对应关系，存储在所述第二真实topic中的第一个消息；

将所述第一消息的消息偏移量，及所述虚拟存储地址与所述第二真实存储地址的对应关系，存储在目标虚拟topic对应的索引文件中。

9.根据权利要求1至3任一所述的方法，其特征在于，每个真实存储地址与多个虚拟存储地址存在对应关系。