[发明专利]一种面向云存储系统的数据副本数量确定方法

说明书

技术领域

本发明涉及信息技术类数据管理应用领域，尤其涉及一种面向云存储系统的数据副本数量的确定方法。

背景技术

云存储是在云计算概念上延伸和发展出来的一个新概念，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。

云存储通过互联网为多用户提供高性价比的共享存储资源池。用户不需要了解云存储系统的组成，也不需要了解提供存储服务的具体细节，所有设备对于用户均是透明的，任何一个合法用户通过网络都可以连接云存储系统，获得相应的服务。云存储概念一经提出，就得到了产业界及学术界的关注。根据IDC（International Data Corporation，国际数据集团）的数据，2013年云存储服务的增长率超过所有其他类型的云服务。

在云存储系统中存储了大量数据及其副本，且数据规模仍在迅速增加，这使得数据副本管理模块是云存储系统中必不可少的组件。高效的数据副本管理方法可以有效地解决系统容错性差、稳定可靠性低以及访问速度慢等问题。目前的数据副本管理方法所要达到的目标包括如何保障系统更高的服务可靠性、数据副本一致性、合理的数据副本数量及均衡的系统负载等问题。

其中适当控制数据副本数量尤其必要。数据副本数量过多会造成节点存储资源和网络带宽的浪费，加重系统和网络负担；数量过少则数据的可用性和访问速度得不到保证，容易造成热点问题。合理计算各数据对象所需要的数据副本数量有助于系统的数据副本总数控制。

目前的数据副本复制数量的确定一般都采用静态策略，一般都将数据副本数量设置为预先确定好，然后将数据副本存储在若干存储节点上，即通过简单冗余来避免数据访问失效现象的发生，目前的谷歌云平台、Hadoop（一个分布式系统基础架构，由阿帕奇基金会开发）等系统都是将数据副本数量设置为3份，然后将数据副本存储在不同的3个存储节点上。

这种数据副本数量的静态确定方法没有考虑数据的访问规律，不能满足不同数据的访问需求，使得系统无法在服务质量和资源开销间取得平衡，造成资源浪费，且难以解决热点问题，增加了不必要的硬件成本。

发明内容

为解决上述技术问题，本发明提供一种面向云存储系统的数据副本数量确定方法，其采用的技术方案如下：

一种面向云存储系统的数据副本数量确定方法，包括如下步骤：

步骤一：通过归纳云存储系统中数据访问规律将云存储系统中的数据分为Ⅰ型、Ⅱ型、Ⅲ型、Ⅳ型数据，各类型数据初始建立3份副本，并建立相应的数据流行度模型，计算节点热度；

步骤二：新数据到达云存储系统一段时间后，根据数据流行度模型提供的数据流行度变化规律，判断数据的类型，计算出下一时期数据副本需求数与当前数据副本数之差Δr_i；

步骤三：当某一类型的数据Δr_i大于0时，则增加该数据的副本数；当某一类型的数据Δr_i小于0时，则减少该数据的副本数；当某一类型的数据Δr_i等于0时，则对该数据的副本数不作调整。

步骤四：设定的节点的热度上限阈值，将节点热度达到或超过上限阈值的节点上的最热的数据副本迁移到热度最低且当前不包含该数据副本的节点上，并在节点热度降低到热度上限阈值以下之前，不在该节点上创建新的数据副本。

步骤一中的节点热度h_node计算方法如下：

式中，n为该节点存储的总数据副本数，而d_j为节点中的第j个数据副本，a(d_j)为数据副本d_j在上一个时间周期内的访问次数。

步骤二中判断数据类型的方法为采用流行度面积与流行度的斜率面积判断当前数据所属数据类型。数据类型的判断如以下步骤：

步骤1：计算出当前数据对象流行度面积s_p＝∫pdt，斜率面积s_k＝∫kdt；其中p为当前数据对象流行度，s_p为当前数据对象流行度面积，t为时间，k为当前数据对象流行度斜率，s_k为当前数据对象流行度斜率面积，∫和d为积分运算符号。