[发明专利]一种基于分布式存储重复数据删除的虚拟机系统盘的方法

说明书

技术领域

本发明涉及云平台存储虚拟化技术领域，特别是一种基于分布式存储重复 数据删除的虚拟机系统盘的方法。

背景技术

一般的云计算平台上有多个计算节点，而每个计算节点上都有多个分布式 存储的虚拟机，有些性能较高的节点甚至有几十个虚拟机，监控代理监控这些 虚拟机在高峰期使用大量的网络IO，并且分布式存储副本数越多，网络IO的压 力更大，这样会带来以下问题：

一是客户不想花费额外的钱来升级交换机。

二是高峰期大量的虚拟机同时读写，分布式存储多副本的情况下，网络IO 流量大。

三是分布式存储成本高。

为了解决上述问题，需要有一种基于分布式存储重复数据删除的虚拟机系 统盘方法；减轻网络IO的压力并同时节省分布式存储的成本。

发明内容

本发明解决的技术问题在于提供一种基于分布式存储重复数据删除的虚拟 机系统盘的方法；解决高峰期大量的虚拟机同时读写及分布式存储多副本的情 况下网络IO流量大、分布式存储成本高等问题。

本发明解决上述技术问题的技术方案是：

所述的方法包括如下步骤：

步骤1：分布式存储上创建存储卷；

步骤2：通过存储卷创建虚拟机系统盘；

步骤3：虚拟机写数据到系统盘；

步骤4：分布式存储卷服务将数据保存到缓存中；

步骤5：对缓存数据进行滑动分块；

步骤6：通过Rabin指纹算法扫描每块的指纹；

步骤7：查询指纹集合是否已经存在分布式存储系统指纹表；

步骤8：挑选指纹不存在分布式存储系统的文件块存入分布式存储系统中；

步骤9：分布式存储系统更新指纹表。

所述的分布式存储上创建存储卷，在分布式存储创建一个存储卷；

所述的通过存储卷创建虚拟机系统盘，分布式存储卷先映射到本地文件块， 此文件块作为虚拟机的系统盘来使用；

所述的虚拟机写数据到系统盘，虚拟机在系统盘读写通过分布式存储卷服 务进行读写；

所述的分布式存储卷服务将数据保存到缓存中，分布式存储卷服务将虚拟 机读写的数据先放在本地缓存上，并不是马上存入到分布式存储上。

所述的对缓存数据进行滑动分块，是对缓冲区的数据进行滑动分块，通常 每块默认最小大小是4K；用户可以通过分布式存储系统对分块的默认大小进行 设置。

所述的通过Rabin指纹算法扫描每块的指纹，通过Rabin指纹算法计算整 块，得出一个唯一的指纹，并将每块的指纹组成一个指纹集合；

所述的查询指纹集合是否已经存在分布式存储系统指纹表，查询指纹集合 各个指纹是否存在通过分布式存储系统的指纹表中，并返回结果，分布式存储 卷服务标记每个指纹是否已在分布式存储上存在；

所述的挑选指纹不存在分布式存储系统的文件块存入分布式存储系统中， 凡是被标记为不存在的指纹，该指纹对应的块文件全部都上传到分布式存储系 统中；如被标记为存在的指纹，分布式存储系统上的存储卷做一个简单的文件 块引用即可；

所述的分布式存储系统更新指纹表，分布式存储系统根据上传文件块的指 纹集合，更新指纹表。

本发明由虚拟机提供分布式存储卷服务，虚拟机可以连续读写，区别于一 般基于文件的重复数据删除方法。本发明提供虚拟机系统盘，区别于一般只能 提供虚拟机镜像的重复数据删除方法。本发明提供数据重复删除放在虚拟机所 在的宿主机上，区别于一般只能在服务端上执行重复删除的方法。本发明使用 Rabin指纹算法，性能更加高效，区域于一般的指纹扫描方法。本发明解决了高 峰期大量的虚拟机同时读写及分布式存储多副本的情况下网络IO流量大、分布 式存储成本高等问题。

附图说明

下面结合附图对本发明进一步说明：

图1为流程图；

图2为本发明逻辑结构图。

具体实施方式

本发明的实施方式有多种，这里以云平台为例说明其中一种实现方法，如 图1、2所示，具体实施过程如下：

1、分布式存储上创建存储卷；

/＊＊

＊分布式存储上创建存储卷

＊paramname卷名称

＊paramsize卷大小