[发明专利]超融合系统的数据分配方法和系统

说明书

本发明实施例公开了一种超融合系统的数据分配方法和系统，包括：拆分虚拟机虚拟磁盘的数据形成若干数据块，每个数据块具有多个数据块副本；在超融合物理服务器集群中，根据虚拟机运行状态和集群数据状态对每个数据块副本进行本地化空间位置分配，以使同一个虚拟磁盘上的所有数据块均有一份数据块副本放置在虚拟机所在的物理服务器上；对除本地化空间位置分配以外的其他数据块副本进行局部化分配，以使同一个虚拟磁盘上的所有数据块副本能够按照规则有序聚集。本发明使降低了请求处理延迟，增加了数据带宽，使得数据的存储放置更为安全可靠，实现了超融合集群高效可靠的数据分配。

技术领域

本发明涉及超融合系统技术领域，尤其涉及一种超融合系统的数据分配方法和系统。

背景技术

超融合基础架构是将计算、网络和存储等资源作为基础设施进行整合，根据具体业务系统需求进行选择组合和自定义，方便快捷地进行数据中心搭建和业务系统部署的技术架构。一般在单元节点(x86服务器)中融入软件虚拟化技术(包括计算、网络、存储、安全等虚拟化)，每一个单元节点通过网络聚合，实现模块化的无缝横向扩展，构建统一的资源池。

在超融合基础架构中，计算负载（应用程序/虚拟机）与关联的数据在同一组物理服务器上。与传统的家用设备上应用程序仅使用设备直接连接的存储设备不同，超融合系统中并不将存储资源（硬盘或者AEP等新型存储介质）直接暴露给应用程序使用，而是先把整个超融合集群中所有存储资源池化，再提供虚拟存储服务（虚拟磁盘，虚拟文件系统等）交付应用程序使用。每个应用程序访问的数据可能会分布在整个超融合系统的所有节点上，在单个存储服务器异常的时候可以从其他服务器中获取数据重建服务，提供了相比于直接使用设备本地存储更高的可靠性。

在超融合系统中提供虚拟机服务时，其中的存储系统作为提供块存储形态的分布式存储系统，提供的虚拟磁盘有可能会超过单个物理服务器能容纳的最大大小，例如，一个物理节点上仅有40TB的存储空间时，其上运行的虚拟机要求一个64TB的虚拟磁盘，如果将一个虚拟磁盘的数据作为整体考虑放置位置，则超融合集群就无法容纳这样的虚拟磁盘。所以，一个虚拟存储对象通常会拆分为若干小数据块再分别考虑他们的存放位置与组织形态。小数据块数据的常见组织方式有EC（纠删码，将数据拆分之后新增数据校验分片，在单个分片后可以通过其他分片与校验分片计算恢复损失的分片数据）、副本（将数据存储多份至不同的节点上，每个节点持有一个完整的数据副本）。不论哪种方式，数据都将被拆分为多个部分，并考虑在集群中的放置位置。

分布式存储系统最常见的数据分配策略就是均匀分布。该方法将所有的小型数据块视作独立的个体，将每个数据块的不同分片均匀的分散至整个集群的各个服务器上。然而，该方法存在以下两个客观问题：

（1）性能降低。在超融合系统中，均匀的分散数据至整个集群，势必会有部分数据块的所有副本都不放置在应用程序/虚拟机所在的节点上。对这些数据块的访问都需要经过跨节点的网络，性能上会因为增加了网络中转环节而增加延迟，且带宽也会受限于物理网卡的带宽，增加对外部的网络资源（交换机）的消耗。

（2）可靠性降低。每个虚拟磁盘的数据分布在整个集群中的所有节点，相对的，任意一个节点的异常都会引发的集群中所有虚拟磁盘都有部分发生异常，这将每个节点的故障影响范围扩大至整个集群（即异常节点造成不可靠性）。此外考虑到极端情况，一个40个节点的集群如果采用3副本策略，极端情况下，3个节点异常就可能会造成集群中所有虚拟磁盘上都有部分数据块损失了所有的副本。而虚拟磁盘的典型使用场景是在虚拟磁盘上格式化一个文件系统（例如 Linux 的 Ext4/xfs， Windows的 NTFS 等），文件系统如果损失了部分关键数据块会导致大面积的数据异常。这就意味着整个集群里实际损失的数据范围有可能会远大于3个节点的数据量。

综上所述，目前现有技术存在系统性能低、可靠性低的客观缺点，亟待发明一种高效可靠的超融合系统的数据分配方法和系统。

发明内容

有鉴于此，本发明实施例提出一种超融合系统的数据分配方法和系统。