[发明专利]一种云计算平台下的数据同步更新方法

摘要

本发明提出了一种云计算平台下的数据同步更新方法，包括：1.构建基于Hadoop分布式文件系统的云数据备份系统，所述系统从物理上分为客户端、备份服务器和Hadoop分布式文件系统集群；2.客户端中保存着为本机提供服务的备份服务器的信息,当需要备份或恢复时向备份服务器发出相应请求；3.备份服务器接收到客户客户端的请求，进行文件的备份和恢复。本发明提出的所述方法提高了备份文件、更新文件的效率。

主权项

1.一种云计算平台下的数据同步更新方法，包括：(1)构建基于Hadoop分布式文件系统的云数据备份系统，所述系统从物理上分为客户端、备份服务器和Hadoop分布式文件系统集群；(2)客户端中保存着为本机提供服务的备份服务器的信息,当需要备份或恢复时向备份服务器发出相应请求；(3)备份服务器接收到客户客户端的请求，进行文件的备份和恢复；其中，所述客户端是企业中众多需要数据备份/恢复服务的计算机节点，按照地域、系统类别等分成若干个群，当需要进行数据备份或者恢复时，他们向负责本群的备份服务器提出请求，得到许可后进行文件的备份和恢复操作；客户端用于实现数据备份恢复，包括文件打包、压缩策略，数据的备份和恢复；所述备份服务器是客户端和Hadoop分布式文件系统集群间数据备份恢复的桥梁，由多个高性能、大存储量服务器构成，每个服务器负责一个客户端群，他们接受客户端的备份恢复请求，缓存客户端的备份数据，根据备份数据的不同情况，分别对他们进行合并、分割、压缩后上传到Hadoop分布式文件系统集群进行备份，同时保存客户端备份文件的映像表，当客户端提出恢复请求时，从Hadoop分布式文件系统集群中读取备份文件，按照文件映像表发送给客户端；所述Hadoop分布式文件系统集群由安装了Hadoop分布式文件系统软件的计算机组成，在Hadoop分布式文件系统软件的架构下，通过配置向多个备份服务器提供上传、下载服务，实现系统的核心功能；Hadoop分布式文件系统集群采用主/从结构，由一个名字节点Namenode和一定数量的数据节点Datanodes组成，Namenode作为为中心服务器负责管理文件系统的名字空间namespace以及客户对文件的访问；Namenode执行文件系统的打开、关闭、重命名文件或目录这些名字空间操作；也负责确定数据块到特定Datanode节点的映射，Namenode由企业云中具有较高性能的服务器配置而成，以实现高效的元数据管理，避免性能瓶颈，DataNode用于存储数据，由企业内部大量廉价计算机配置而成，并且可以根据备份数据的规模进行动态扩展，备份时文件被分成一个或多个数据块，这些块存储在一组Datanode上；Datanode负责对文件系统客户端的读写请求进行处理，并在Namenode的统一调度下进行数据块的创建、删除和复制等操作；其中，当监测到客户端的文件发生改变时，使用以下方式同步更新Hadoop分布式文件系统集群上相应的文件：(1)当监测到客户端的文件CF_old变更为文件CF_new时，将发生改变的文件ID发送给Hadoop分布式文件系统集群；(2)根据客户端发来的文件ID，Hadoop分布式文件系统集群将CF_old对应的SF_old划分为大小为B的块，SF_old[(i‑1)B,iB‑1],表示文件从偏移地址(i‑1)B到iB‑1的内容，其中，i的取值为[1,2,3,……,N],N是文件SF_old划分的块数；然后计算每个块B_i的两个哈希值：q_i＝h_q(B_i)和r_i＝h_m(B_i)，其中，h_q(B_i)表示对块B_i进行alder‑32校验计算，h_m(B_i)表示对块B_i进行MD5校验计算，然后将两个校验值发送给客户端；(3)客户端接收Hadoop分布式文件系统集群发来的每个块的两个哈希值(q_i，r_i)，建立哈希表；(4)客户端遍历文件CF_new，从偏移地址j＝0开始，重复执行以下步骤4.1‑4.4：(4.1)计算h_q(CF_new[j,j+B‑1])；(4.2)从哈希表中查找是否具有匹配的哈希值；(4.3)如果找到匹配哈希值，计算h_m(CF_new[j,j+B‑1])，如果h_m也匹配，则发送该块的偏移地址j和该块的大小信息给分布式文件系统集群，并对j进行加B操作；(4.4)如果没有找到匹配哈希值，或者h_m不匹配，则传输CF_new[j]给Hadoop分布式文件系统集群，CF_new[j]表示文件CF_new在偏移地址j处的内容，j＝j+1；(5)Hadoop分布式文件系统集群根据客户端传送的内容和SF_old构建出与CF_new对应的文件SF_new。