[发明专利]一种通过数据库实现文件系统到对象存储差异比较与备份的方法

说明书

本发明公开一种通过数据库实现文件系统到对象存储差异比较与备份的方法，属于计算机技术的数据容灾备份领域。本方法不用对对象存储进行扫描，在每次备份时，将已经备份成功的文件的属性和摘要信息保存在同步主机的数据库中，以备下次比对之用。在下次备份时，同步主机首先扫描文件系统，把文件的属性和摘要信息保存在同步主机的数据库中，然后与已备份文件的属性和摘要信息表进行比较，计算出差异的文件，进行备份，降低复杂性。

技术领域

本发明属于计算机技术领域，特别是数据容灾备份领域，涉及一种通过数据库实现文件系统到对象存储差异比较与备份的方法。

背景技术

对象存储是面向非结构化数据，支持HTTP/HTTPS协议访问的分布式存储，其特点是支持海量文件、高并发访问、成本较低。对象存储因支持海量文件和成本较低的特点被应用到数据容灾备份领域，将传统的文件系统的文件备份到对象存储。部署示意图如图1，同步主机从左边的文件系统(通常是NAS/SAN/DAS)读取文件内容，然后通过HTTP/HTTPS传输到对象存储。

要实现文件系统到对象存储的备份，必须首先解决差异比较的问题，因为备份通常是定时的，不可能每次备份都进行全量备份，而是只针对差异的文件或者文件片段进行备份。常规的比较方法是分别扫描文件系统和对应的对象存储来获取文件的属性和摘要信息，然后对文件系统的文件和对象存储的文件的属性和摘要信息进行比较，获得差异的文件，然后将这些差异的文件备份到对象存储。这种方法的缺点是，每次备份都需要扫描对象存储，而对象存储一般都会为很多客户端服务，因此大量的扫描请求会严重影响对象存储的性能，而且扫描速度比较慢，从而影响备份的效率。

发明内容

本发明的目的是提供一种通过数据库实现文件系统到对象存储差异比较与备份的方法，不用对对象存储进行扫描，在每次备份时，将已经备份成功的文件的属性和摘要信息保存在同步主机的数据库中，以备下次比对之用。在下次备份时，同步主机首先扫描文件系统，把文件的属性和摘要信息保存在同步主机的数据库中，然后与已备份文件的属性和摘要信息表进行比较，计算出差异的文件，进行备份，降低复杂性。

为实现上述目的，本发明采用如下技术方案：

一种通过数据库实现文件系统到对象存储差异比较与备份的方法，包括如下步骤：

扫描文件系统指定的目录和文件，保存目录记录，该目录记录是由文件的属性信息或者属性和摘要信息构成，该属性包括路径、文件名、大小、修改时间，该摘要是指MD5值，目录记录保存在数据库表中；

将本次扫描保存的目录记录与已备份的目录记录进行比较，判断是否为新增目录记录，文件是否为新增文件，文件的属性是否相同；

如果已备份的目录记录中所包含的某个目录，在本次扫描时没有被扫描到，说明该目录在本地已经被删除，则将该已备份的目录记录标记为孤儿目录，孤儿目录是指在数据备份时源端文件系统不存在而目标端对象存储上存在的目录；

如果已备份的某个目录记录中所包含的某些文件，在本次扫描时没有被扫描到，说明这些文件在本地已经被删除，则将该已备份的文件标记为孤儿文件，孤儿文件是指在数据备份时源端文件系统不存在而目标端对象存储上存在的文件；

读取新增目录记录、新增文件、属性不相同的文件内容并同步到对象存储，计算文件的摘要信息，同步完成后由对象存储返回根据存入数据计算的摘要信息，当两者相同时实现文件成功备份；

同步完成之后，根据孤儿文件处理策略，对对象存储上的孤儿目录和文件进行不做处理、删除或移动到指定目录的处理。

进一步地，每次扫描在数据库中生成一张新的表，该表用于记录如下4个字段：路径、文件集、压缩、孤儿目录，其中路径是指保存目录的路径，文件集是采用JSON的数据结构保存文件名、大小、修改时间、摘要信息，压缩用于记录文件是否被压缩，孤儿目录用于记录是否为孤儿目录。