[发明专利]数据处理方法及装置

说明书

本公开提供一种数据处理方法及装置，涉及互联网技术领域。方法应用于通过交换机与存储集群通信的计算节点，方法包括：计算得到待存储数据在所述存储集群中对应的至少两个存储节点；根据所述至少两个存储节点获得对应的组播地址；将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。从而提升数据处理性能。

技术领域

本公开涉及互联网技术领域，具体而言，涉及一种数据处理方法及装置。

背景技术

随着互联网技术的快速发展，各种场景下的数据量正变得越来越大，相应地，需要对大量数据进行存储等处理。例如，在分布式存储系统中，为了确保数据存储可靠性，往往会进行多副本存储，通过保存同一份数据的多个拷贝提升数据存储可靠性。

发明内容

有鉴于此，本公开提供一种数据处理方法及装置。

第一方面，本公开提供了一种数据处理方法，应用于通过交换机与存储集群通信的计算节点，所述方法包括：

计算得到待存储数据在所述存储集群中对应的至少两个存储节点；

根据所述至少两个存储节点获得对应的组播地址；

将待存储数据封装在组播报文中，以所述组播地址作为所述组播报文的目的地址，并将该组播报文发送至所述交换机，通过所述交换机将所述组播报文发送至所述存储集群中与所述组播地址对应的至少两个存储节点，以对所述待存储数据进行存储。

可选地，计算得到待存储数据在所述存储集群中对应的至少两个存储节点的步骤，包括：

获取所述存储集群中存储节点的拓扑信息以及存储集群中的存储配置信息；

根据所述拓扑信息和存储配置信息计算得到待存储数据在所述存储集群中对应的至少两个存储节点。

可选地，根据所述至少两个存储节点获得对应的组播地址的步骤，包括：

查询预设的组播地址数据表中是否存在与所述至少两个存储节点对应的组播地址，若存在与所述至少两个存储节点对应的组播地址，获得该组播地址。

可选地，所述方法还包括：

若不存在与所述至少两个存储节点对应的组播地址，则根据预先设定的所述存储集群中各存储节点的编号，得到与所述至少两个存储节点对应的编号组，所述编号组中与所述至少两个存储节点分别对应的各编号按大小依次排列；

获得所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系；

将预设的组播地址段的全序关系和所述存储集群中与所述至少两个存储节点数量相同的各存储节点分别对应的编号组的全序关系进行映射，获得与所述至少两个存储节点对应的组播地址；

将与所述至少两个存储节点对应的组播地址添加至所述组播地址数据表。

可选地，所述方法还包括：

判断是否接收到所述至少两个存储节点中的每个存储节点发送的存储确认信息，若接收到所述至少两个存储节点中的每个存储节点发送的存储确认信息，判定所述待存储数据存储完成。

第二方面，本公开提供一种数据处理方法，应用于通过交换机与计算节点通信的存储集群，所述方法包括：

从所述交换机获取地址解析协议ARP表；

从所述ARP表中得到所述存储集群中各存储节点的IP地址和端口信息；

获得所述存储集群中与至少两个存储节点对应的组播地址；