[发明专利]消息存储、读取方法及装置、服务器、存储介质

说明书

本申请公开了一种消息存储、读取方法及装置、服务器、存储介质，属于通信技术领域。该方法包括：消息存储方法，该方法应用于卡夫卡Kafka集群；该方法包括：接收在该Kafka集群存储消息的第一消息存储请求，该第一消息存储请求指定在虚拟存储地址存储该第一消息存储请求指定的消息，该虚拟存储地址包括虚拟话题topic的标识和虚拟分区的标识；基于虚拟存储地址与第一真实存储地址的对应关系，确定与该虚拟存储地址对应的第一真实存储地址，该第一真实存储地址包括第一真实topic的标识和第一真实分区的标识；在该第一真实存储地址指定的该第一真实topic中的该第一真实分区，存储该第一消息存储请求指定的消息。本申请实现了消息的存储。

技术领域

本申请实施例涉及数据处理技术领域，特别涉及一种消息存储、读取方法及装置、服务器、存储介质。

背景技术

卡夫卡(简称：Kafka)系统是一种具有高吞吐量的分布式发送订阅消息系统。该Kafka系统可存储多类消息，每类消息称为一个话题(英文：topic)，每个topic具有多个分区，每个topic的所有分区分担存储属于该topic的消息。

Kafka集群用于部署Kafka系统；Kafka集群具有多个存储节点；该存储节点可以是服务器或者其它具有计算能力的设备；例如Kafka集群中的多个存储节点可以是跨数据中心。Kafka系统中的每个topic可以部署在Kafka集群中的一个或多个存储节点上；如果topic是存储在多个存储节点上，则该topic具有的多个分区可以分布式地部署在该多个存储节点上；如果topic是存储在一个存储节点上，则该topic具有的多个分区均部署在该个存储节点上。

相关技术中，当客户端请求向Kafka集群存储消息时，该客户端可以指定用于存储消息的topic和分区。该存储请求会被发送至目标存储节点(部署有该topic的该分区的存储节点)，目标存储节点部署有该topic的该分区的服务端。当该服务端接收到该存储请求时，该目标存储节点(具体是其上部署的该服务端)将该消息存储至该topic的该分区中。这种存储消息的方法，可能存在部分topic的部分分区工作负载过重的问题，尤其是在大量客户端集中指定向同一topic的同一分区存储消息的场景。

发明内容

本申请实施例提供了一种消息存储、读取方法及装置、服务器、存储介质，可以解决相关技术中可能存在部分topic的部分分区工作负载过重的问题的问题。所述技术方案包括：

根据本申请的第一方面，提供了一种消息存储方法，该方法应用于卡夫卡Kafka集群；该方法包括：接收在该Kafka集群存储消息的第一消息存储请求，该第一消息存储请求指定在虚拟存储地址存储该第一消息存储请求指定的消息，该虚拟存储地址包括虚拟话题topic的标识和虚拟分区的标识；基于虚拟存储地址与第一真实存储地址的对应关系，确定与该虚拟存储地址对应的第一真实存储地址，该第一真实存储地址包括第一真实topic的标识和第一真实分区的标识；在该第一真实存储地址指定的该第一真实topic中的该第一真实分区，存储该第一消息存储请求指定的消息。

本申请实施例提供的消息存储方法，在接收在Kafka集群存储消息的消息存储请求后，通过根据虚拟存储地址与真实存储地址的对应关系，确定用于存储消息的真实存储地址，并将消息存储在该真实存储地址指定的真实分区中，实现了消息的存储。

可选地，该方法还包括：接收在该Kafka集群存储消息的第二消息存储请求，该第二消息存储请求指定在该虚拟存储地址存储该第二消息存储请求指定的消息；基于虚拟存储地址与第二真实存储地址的对应关系，确定与该虚拟存储地址对应的第二真实存储地址，该第二真实存储地址包括第二真实topic的标识和第二真实分区的标识；在该第二真实存储地址指定的该第二真实topic中的该第二真实分区，存储该第二消息存储请求指定的消息。