[发明专利]一种分布式存储集群数据通信方法及系统

说明书

本发明公开了一种分布式存储集群的数据通信方法，每个节点中的所有OSD发送数据或者接收数据时，均是通过节点间的真实Messenger之间建立的真实连接进行数据的传输，并通过每个节点的虚拟Messenger实现该节点内OSD数据的上传及下发，节点间的OSD的连接数与OSD的数量没有关系，与单节点的盘位数无关，只与集群的节点总数有关，从而降低了集群的连接数，解决由于连接数过多导致的集群规模受限的问题；本发明还公开了一种分布式存储集群的数据通信系统，同样能实现上述技术效果。

技术领域

本发明涉及分布式存储技术领域，更具体地说，涉及一种分布式存储集群数据通信方法及系统。

背景技术

随着互联网业务量的增加、访问量和数据流量的快速增长，存储系统各个核心部分的处理强度也相对增大，使系统工作负载增大。用户需要访问存储系统的信息量呈爆炸式增长，存储系统规模的日益壮大给访问服务器的压力带来了巨大的挑战，尤其是对于金融、军事、大型企业等应用领域，存储系统一旦出现访问故障、崩溃等灾难性故障，企业将面临着难以承受的巨大损失，访问的可靠性已经成为衡量存储系统总体性能的重要因素。

目前在ceph标准版本中，每个OSD设备都对应一个OSD进程。OSD之间的数据通信和心跳检测需要建立网络连接。在一定规模内，每个节点上的OSD之间建立的TCP连接数，以及本节点OSD与其他节点OSD之间建立的TCP网络连接数与单节点盘位数的平方成正比，并且随着节点数的增加而线性增长。对于36盘位集群，当节点数达到10或更高时，单节点上的连接数会超过60000，已经超过系统所能承载的上限。

因此，如何降低节点间的连接数，解决由于连接数过多导致的集群规模受限的问题，是本领域技术人员需要解决的。

发明内容

本发明的目的在于提供一种分布式存储集群数据通信方法及系统，以实现降低节点间的连接数，解决由于连接数过多导致的集群规模受限的问题。

为实现上述目的，本发明实施例提供了如下技术方案：

一种分布式存储集群的数据通信方法，包括：

源节点的源OSD向目的节点的目标OSD发送数据时，所述源OSD将所述数据通过源节点的虚拟Messenger发送至所述源节点的真实Messenger，通过所述源节点的真实Messenger将所述数据发送至所述目的节点的真实Messenger；

所述目的节点的真实Messenger接收所述数据，通过所述目的节点的虚拟Messenger将所述数据下发至所述目的节点的目标OSD。

其中，所述目的节点的真实Messenger接收所述数据，包括：

所述目的节点的真实Messenger，通过所述源节点和所述目的节点间唯一的TCP连接，接收所述源节点真实Messenger发送的所述数据。

其中，所述通过所述目的节点的虚拟Messenger将所述数据下发至所述目的节点的目标OSD，包括：

所述目的节点的虚拟Messenger接收所述目的节点的真实Messenger发送的所述数据，通过所述数据中携带的目标OSD的地址信息，调用与所述目标OSD对应的处理函数处理所述数据。

其中，所述目的节点的虚拟Messenger接收所述目的节点的真实

Messenger发送的所述数据之后，还包括：

判断所述数据的目的端是否为OSD；

若是，则执行通过所述数据中携带的目标OSD的地址信息，调用与所述目标OSD对应的处理函数处理所述数据的步骤。