[发明专利]数据单元副本放置方法、装置、电子设备及系统

说明书

提出了一种分布式系统中数据单元副本放置方法、装置以及电子设备。该方法包括：接收数据单元的写入请求，该写入请求中至少包括需要写入的数据单元副本数量和放置参数，放置参数包括可用组的高度参数和最小可用组参数，可用组是发生故障时单个节点故障对数据单元的可用性的影响范围，高度参数用于描述数据单元的可用性级别，最小可用组参数用于描述放置副本的可用组数量；根据放置参数，确定分布式系统中用于写入数据单元副本的节点；将数据单元副本写入所确定的节点，并记录数据单元副本在分布式系统中的分布信息。本说明书实施例中，使用参数化的方式表达数据单元副本放置策略，可以应用于任意网络拓扑结构的分布式系统中。

技术领域

本说明书实施例涉及计算机技术领域，更具体的，涉及一种分布式系统中数据单元副本放置方法、分布式系统中数据单元副本放置装置、电子设备、计算机可读存储介质及系统。

背景技术

分布式系统利用分布式系统软件将多个节点的计算、存储资源通过网络进行整合，提供底层透明的数据存储、数据库、大数据计算等服务。这样的分布式系统已普遍应用于互联网、物联网、智能工业、商业智能、信息管理等领域。

分布式系统领域中的一大核心课题是可用性。就单一节点/设备而言，发生故障是小概率事件。而在大型分布式系统中，大量的节点通过网络设备连接协同提供服务。在大量节点/设备样本下，一个分布式系统中任一节点或网络设备发生故障是经常性事件。如何从故障中恢复、减少故障影响，是设计分布式系统的必需要素。以下是几种常见的故障：

1、单机故障：因单个节点因硬件、电源等原因发生故障宕机，单节点不可用；

2、机架故障：多个节点通过一个机架联入网络，因机架电源或网络不可用导致该机架内所有节点不可用；

3、核心交换机故障：多个机架通过核心交换机接入主网络，当这样的核心交换机发生故障，可能导致从该核心交换机联入主网络的所有节点不可用；

4、数据中心故障：数据中心的供电设备或网络连接设备出现问题时，可能导致接入数据中心中的所有节点不可用。

多数据单元副本技术是分布式系统中最常见的设计之一。其核心思想是将同一数据单元放置于多个节点中。当分布式系统出现故障时，可能会出现多个节点上该数据单元副本不可用的情况。但只要该数据单元副本的可用数据单元副本数大于0，则该数据单元依然可用。

分布式系统通过数据单元副本放置方法决定如何将数据单元副本放置到各个节点上。为了对抗不同级别的故障，数据单元副本放置策略也有所不同。

一般来说，当数据单元副本放置的节点跨越更高层级的网络拓扑时，其拥有更高级别的可用性。如当数据单元副本跨越多个机架进行放置时，其能容忍机架级别的故障。当数据单元副本跨越多个核心交换机放置时，其能容忍核心交换机级别的故障。当数据单元副本跨越多个数据中心时，其能容忍数据中心级别的故障。而数据单元副本放置跨越更高层级的网络拓扑时，往往意味着更高的网络开销与读写延迟。跨越数据中心的流量相比跨越机架的流量价格更昂贵，延迟更高。

在Hadoop分布式文件系统(HDFS)中，数据单元副本放置方法通常有两种：一是不感知机架的数据单元副本放置方法。数据的多份数据单元副本随机放置在任意节点。当多份数据单元副本被放置于同一机架，且机架故障时，其数据单元变得不可用。二是机架感知的数据单元副本放置方法。可感知一层机架，数据单元副本会优先在本地放置一份，然后将数据单元副本尽可能的散布到其他机架。使得任意一机架发生故障时，其数据单元依然可用。但更上层的设备发生故障，如核心交换机故障时，其数据可能分布在同一核心交换机的多个机架上，其数据单元依然不可用。

上述两种数据单元副本放置方法的缺点在于，上述方案在一套分布式系统中对所有的数据单元使用相同的数据单元副本放置方法，无法在同一套分布式系统中满足不同数据单元的个性化可用性保障级别需求，且无法应用于变化的多层网络拓扑，仅支持机架级别故障的可用性。

发明内容