[发明专利]企业云存储分块对象重复数据删除和重组版本控制方法

说明书

技术领域

本发明属于计算机存储方法技术领域，涉及一种企业云存储分块对象重复数据删除方法，本发明还涉及企业云存储分块对象重组版本控制方法。

背景技术

云存储平台是通过集群应用、网格技术或分布式文件系统的功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。

现有的FTP服务、WEB存储服务等均存在以下问题：可靠性低，一旦磁盘或者系统宕机将导致数据永久丢失；安全性差，单一的密码口令访问方式容易被攻击；成本也比较高，企业用户需要自己维护和建立机房，派专人维护和管理存储系统软硬件；共享效率低，网络因素导致的文件信息分享率低。

云存储服务平台，能为企业用户提供一个高可用的服务机制，其建立在高速网络和高速存储设备之上，只要接入互联网就可实现数据的高速共享，平台内部的高可靠性机制能保证数据的安全性，分布式的集群为地理域不同的用户提供高速共享。企业租户使用云存储平台，由于企业内部使用人员多，从而数据产出量高，往往会出现大量重复数据；并且由于人员的增多对相同文件的修改可能性增大，出现版本问题的可能性更高。多人操作数据会出现覆盖、误删及人员手中数据不一致的问题；覆盖导致丢失原有版本数据；误删导致数据无法恢复原有版本；没有版本记录则导致不同人员在不同时间，有人员下载修改过的文件，也有人员保留原有未修改的文件，最终出现数据不一致。这些问题也会导致系统的数据可靠性降低。

发明内容

本发明的目的在于提供一种企业云存储分块对象重复数据删除方法，能有效提高云存储系统的可靠性，不仅解决由于企业级用户产出的大量重复数据导致的存储设备资源浪费的问题，还降低网络因重复数据传输导致的占用带宽问题。

本发明的另一目的在于提供一种企业云存储分块对象重组版本控制方法，基于分块对象，创建文件的对象重组版本索引，用于云存储平台中解决企业云存储平台中大量用户对同一文档操作导致的文档版本问题。

本发明的所采用的第一种技术方案是，企业云存储分块对象重复数据删除方法，具体按照以下步骤实施：

步骤1、用户有文件要上传到云存储平台时，将文件输入到分块对象重复数据删除模块内；

步骤2、由分块对象重复数据删除模块内的文件类型库先确定步骤1中用户上传文件的类型；

步骤3、经步骤2确定好文件的类型后，由分块对象重复数据删除模块中的文件类型表里查找当前文件类型的最优分块大小；

步骤4、若整个文件的大小小于步骤3确定的分块大小，即文件无法分成块，则不进行分块操作，直接对整个文件计算哈希指纹，并标记该文件不可再分块后直接进入步骤5.4中用快速指纹查询表查询是否有匹配的哈希指纹；

若整个文件的大小大于步骤3确定的分块大小，即文件能够分块，则直接进入步骤5；

步骤5、对经步骤4处理后文件的分块和重复数据进行删除，具体按照以下步骤实施：

步骤5.1、分块对象重复数据删除模块将文件指针偏移到头部末尾；

步骤5.2、对文件进行分块处理，文件分块后的大小为步骤3中确定的分块大小；

步骤5.3、计算经步骤5.2得到的文件块的哈希指纹；

步骤5.4、根据经步骤5.3计算出文件块的哈希指纹，用快速指纹查询表查询是否有匹配的指纹：

若有匹配，则说明有重复数据，对这个文件的有重复数据的分块不创建对象，只创建一个指向已存在指纹的链接；

若没有匹配，则说明数据是不重复的，必须给没有重复数据的分块创建一个对象，并将该创建的对象保存到对象存储设备中，再将指纹信息和分块信息分别写入快速指纹查询表和系统文件索引表；

步骤5.5、重复步骤5.2直到文件不能再分块为止，当整个文件分块不能再分块，则重复数据删除完成。

本发明第一种技术方案的特点还在于，

步骤1中的分块对象重复数据删除模块用于在文件的上传和更新过程中，云存储用户的文件要存储在对象存储设备中，必须经过分块对象重复数据删除模块，目的在于降低对平台存储设备的资源浪费。

步骤2中文件类型的确定方法为：由分块对象重复数据删除模块内的文件类型库根据文件扩展名和文件头部共同确定文件的实际类型；