[发明专利]一种面向广域网的分布式文件系统元数据副本同步方法

说明书

本公开提出了一种面向广域网的分布式文件系统元数据副本同步方法。在本公开实施例中，可以构建副本空间的元数据同步服务，获取客户端的请求，根据广域网上运行的共识协议维护的文件访问状态树选择不同层级的共识组提交请求并且进行冲突避免；与在广域网上运行无层级区别的共识协议而言，本方法能够减少广域网上提案的数量，进而提高元数据操作的IOPS。

技术领域

本发明公开了一种面向广域网的分布式文件系统元数据副本同步方法，涉及广域高性能计算面临的挑战，属于计算机技术领域。

背景技术

跨域虚拟数据空间是广域高性能计算环境中为了发挥分散资源的聚合效应、有效支撑大型计算应用而诞生的重要研究课题。当前广域高性能计算环境中，各超算中心地理位置分散，网络拓扑结构复杂，导致跨域虚拟数据空间中的远程访问延迟较大且易受干扰。为了提高访问性能、增加数据安全性以及支持存储数据的调度，跨域副本技术的研究成为了跨域虚拟数据空间的迫切需求。

跨域虚拟数据空间中，跨域空间的访问性能受到了超算中心地理位置分散的挑战。以全基因组关联分析应用为例，基因数据文件分散在多个数据中心，远程访问带来的延迟将浪费计算节点大量宝贵的时间。欧洲网格基础项目EGI的OneData存储系统以及美国国家科学基金会的XSEDE的联合文件系统GFFS都采用了副本技术，通过文件数据跨中心分布来达到提升虚拟空间总体访问性能的目的。科学计算应用的计算节点能够通过访问本中心或者最近数据中心的副本，大幅减少等待数据的时间，节省昂贵的计算费。因此，跨域虚拟数据空间迫切需要一套副本机制。

首先，一致性问题一直是分布式存储副本机制的最大挑战，Bengfort在研究中指出，单数据中心内分布式存储系统能够通过放松强一致来达到一致性与性能的平衡，然而对于广域分布的存储系统而言，极大的数据同步延迟以及过小的带宽将会放大多中心副本之间的一致性问题。而多中心间不一致的副本则会引发各中心应用更多相互冲突的操作，最终导致应用奔溃或者数据集损坏。

为了保证跨域虚拟数据空间副本的一致性，就需要保证元数据副本操作的一致性以及数据访问一致性。Glass的研究中指出，元数据操作与副本数据访问在很多重要的方面是不同的。元数据操作可以被认为是目录及文件级别的操作，例如文件的创建、删除、重命名、设置拓展属性、查看权限等，而副本数据访问操作通常是针对数据块的读写访问。元数据操作的请求频率不如数据操作频繁，然而元数据操作产生冲突的后果比数据操作更加严重。因为数据损坏通常是可以通过主从副本的数据复制进行幂等的恢复步骤，然而元数据冲突导致的损坏需要更加复杂的机制进行恢复，例如预写日志系统或者文件系统卷快照，最终引入较大开销。

一般可以用两类方法保证元数据操作的一致性，一是通过合理组织元数据服务架构，使得所有元数据操作请求以类似单点FIFO队列的形式应用在元数据存储中。由于这种提交的形式能够保证所有元数据操作在执行、同步过程中的原子性、顺序性与最终一致，因此相当于实现了元数据副本操作的线性化，进而保证了一致性。二是允许元数据操作请求的任意点提交，但是通过一致性协议协商来保证一致性。

第一类方法，即基于主从架构的元数据一致性方法，常被应用在单中心存储系统中，对于单一FIFO执行队列引发的负载均衡、单点故障、横向拓展性等问题，研究人员也提出了大量的方法来进行优化，例如哈希分区、故障迁移、冷热备份等。第一类方法已经在GlusterFS、Ceph、HDFS等中心内文件系统中得到了充分的验证。

第二类方法，即基于共识协议的元数据一致性方法，常被应用在多中心存储系统中，因为跨中心网络通信质量与中心内网络通信质量差距过大，导致单点提交法对于不同的客户端节点有极大的性能差距，由于木桶效应最终为多中心环境下的应用执行引入极大的延迟。而第二类方法允许元数据操作请求在任意点提交，并通过节点间执行前协商或者执行同步的方式来保证一定程度的一致性。