[发明专利]一种文件增量同步方法及系统

说明书

技术领域

本发明涉及互联网技术领域，特别涉及一种文件增量同步方法及系统。

背景技术

随着互联网的发展，越来越多的数据累计起来。对于一个运营中的用户平台，会出现海量的数据需要处理和分析。这就需要数据的导入导出以及备份、同步等工作。通常的文件同步是在数据库层面进行的。

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据库中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

文件同步和备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的文件同步和备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。

文件同步，是数据库的一种专用命令。这里的数据库指的是软件方面的所有与之有关的数据库。不同数据库对于文件同步的要求不同。

例如，微软的ACCSS数据库，是数据库中拥有比较傻瓜的文件同步。同样，微软其它办公软件也拥有相同的功能，直接把数据导入到新建的文件就可以了。同步的字段的多少不受限制。莲花软件则是比较严厉的数据库。在导入导出时必须把字段一一对应，才可以导入导出成功。包括了APPROACH,LOTUS 123办公软件，而APPROACH数据库仅有108个字段。而在电影动画业采用的动画制造软件，如FLASH，这里的同步，实际上就是把制作动画的元素、舞台和元素库，导入到单独的动画，导出到不同的场景和舞台。

现有技术中，对于数据的同步通常包含很多种方式，为了节约数据传输的数量，则通常会采取增量同步的方法。而现有的增量更新的方案，仍然设计复杂，步骤繁琐，不能适应大数据情况下的应用。因而，亟需要一种提高文件同 步效率的方案。

发明内容

本发明提供一种文件增量同步方法及系统，用以解决现有技术中大数据量情况下文件同步效率低下的问题。

本发明提供一种文件增量同步方法，包括：

为每个文件配置递增的唯一识别序列号；

增量同步时，获取当前已同步文件的所述唯一识别序列号；

同步所述唯一识别序列号大于当前已同步文件的所述唯一识别序列号的文件。

所述方法还包括：

所述每个文件均按照先后顺序递增的配置对应的唯一识别序列号。

所述方法还包括：

所述唯一识别序列号唯一对应每个文件，根据文件发布时间顺序，逐个加一递增。

所述方法还包括：

增量同步时，获取已发布同步文件的唯一识别序列号以及待发布同步的文件的唯一识别序列号；