[发明专利]一种异构存储环境下多版本文件视图管理方法和装置

说明书

本发明涉及一种异构存储环境下多版本文件视图管理方法和装置。该方法包括：抽取异构存储环境下的多版本数据的元数据信息，利用元数据信息形成关系表结构，并利用关系型数据库对元数据进行集中存储；通过逻辑卷整合分布在不同存储位置的多版本数据，实现介质无关的多版本数据的管理与组织；利用SQL语法规则实现对元数据的访问控制与选择过滤，并在文件视图中以目录树的形式展示和管理异构存储环境下的多版本数据。本发明能够针对本地存储、云存储等异构存储环境，针对增量备份、差量备份、全量备份等不同备份策略，实现高性能的多版本文件视图管理。

技术领域

本发明属于分布存储与容灾备份领域，具体涉及的是一种异构存储环境下多版本文件视图管理方法和装置。

背景技术

随着大数据技术与应用的迅猛发展，数据已成为各个行业中最为宝贵的资源。数据的损毁将导致不可估量的损失。例如，2017年五月份，WannaCry勒索病毒席卷全球，超过一百多个国家和地区被攻击和感染，大量企业、校园和医疗机构受到了病毒感染。该病毒将受感染用户的数据进行加密并勒索，致全球经济损失高达550亿元。数据容灾技术已经成为防止人为操作失误、病毒攻击、系统故障导致的数据丢失或毁坏的最后一道防线。

随着云存储技术的深入发展，越来越多的备份业务开始通过整合本地存储资源与云存储资源，形成一个即满足数据本地化快速读写，同时支持备份数据的云化存储的异构存储环境。然而如何有效整合分布在不同存储位置、异构存储资源的多版本备份数据、为用户提供统一、便捷、灵活的多版本文件视图管理方法，成为云存储环境下，多版本备份数据管理面临的挑战问题。

在数据多版本管理方面，目前主要有三个研究方向：

1)多版本索引技术：Multiversion B-tree(Ohler T,Ohler T,Ohler T,et al.Anasymptotically optimal multiversion B-tree[J].Vldb Journal,1996,5(4):264-275.)利用用户自定义的key和时间戳来唯一确定文件的版本。由于MVB Tree是partiallypersistent结构，因此只能在当前key基础上进行更新或删除的操作，无法提供任意历史时刻，统一的文件视图功能，缺少面向历史任意时刻下完整文件tree的管理方法。

2)多版本文件系统：CVFS(Soules C A N,Goodson G R,Strunk J D,etal.Metadata Efficiency in Versioning File Systems[C]//Usenix Conference onFileStorage Technologies.2003:43--58.)利用Journal-based metadata管理元数据和目录索引结构，极大的减少了元数据的存储量。Ext3cow(Peterson Z,Burns R.Ext3cow:atime-shifting file system for regulatory compliance[J].Acm Transactions onStorage,2005,1(2):190-212.)文件系统是在ext3的基础上完成的，提供了快照功能和多版本文件控制功能。但是这两种技术必须在特定的文件系统中才能起到多版本文件控制，不适合应用于多个文件系统组成的异构资源存储环境(如本地文件系统ext3+云存储系统GlusterFS)。文献“Bhattacherjee S,Chavan A,Huang S,et al.Principles of datasetversioning:exploring the recreation/storage tradeoff[J].Proceedings of theVldb Endowment,2015,8(12):1346-1357.”进一步提出了一种平衡存储空间和增量文件恢复时间的算法，但是该算法只是处理离线、静态的数据集，不能在线实时处理数据集，因此无法为增量备份提供快速的元数据管理组织方法。