[发明专利]一种基于数据块比较的数据更新方法

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据的更新方法。

背景技术

国内热门的网络游戏在100款以上，几乎每天都会有30％以上的网络 游戏会发生内容更新，网吧的电脑里面的游戏也需要及时的更新，才能在 满足网吧网民的需求，在解决这个需求上存在两个技术难点，难点之一是 所有网吧的机器终端数非常庞大，约在在1000万台以上，如果都直接从 互联网服务器进行游戏更新，服务器的性能负荷根本不能应付，同时还需 要在互联网上分配巨大的网络带宽资源才能支持；难点之二是热门游戏的 更新量是非常巨大的，如果从文件更新的级别来看，目前每天平均在40G 左右，巨大的更新量几乎使得游戏更新基本不能在网吧里面正常运作，网 吧带宽有限，游戏要更新完需要几乎不能忍受的时间长度)。 为了解决以上问题，现有技术也有采用数据增量更新的手段，即检查数据 更新与更新后的差异，更新时只针对该差异部分进行更新，一般以逻辑文 件作为原子处理对象，更新差异比较以文件本身的属性，例如文件创建时 间或文件修改时间做为判断依据，来判断此文件是否被更新过。如果文 件被更新过了，则把整个文件作为差异需求，需要网络传输达到数据更新 的目的。

但现有方法是以逻辑文件作为处理对象，在实际应用中，很多数据更 新只是改变文件中的一段数据。这就导致更新差异比较粒度过大，会重复 更新一些原有数据。

如果更新差异比较出来的文件需要更新，文件的长度就是需要更新的 大小。由于文件可大可小，导致原子更新长度也是动态变化的。会导致 网络传输的性能下降。

发明内容

本发明提供了一种快速的数据更新方法，通过对数据的划分以及特定 的更新算法大大提高了数据更新的速度，另外结合改进的网络下载架构进 一步减轻了服务器的负荷，提高网络传输的性能。

本发明数据更新方法通过使用数据内容的分块索引和差异对比来实 现，把一套完整的数据(例如一款游戏的所有数据)看作一个连续完整的 二进制数据流。一个文件是一段二进制数据流的逻辑单位。一个数据块也 是二进制数据流的逻辑单位。

三者的关系是：数据块是文件的子集，文件是游戏数据的子集。当文 件整体大小小于一个数据块定义长度时，一个文件的内容就是一个数据 块。当然，大多数情况是一个文件有若干数据块。数据块的长度可以人工 定义，这样我们可以根据网络传输的特点和磁盘(目前大量使用磁盘列阵) 缓存的特点，找到在全局系统中整体性能最优的数据块长度。而不是被动 适应文件长度。

一种基于数据块比较的数据更新方法，包括如下步骤：

(1)将所有版本数据均划分为若干数据块，针对每个版本数据，分 别提取该版本数据中：

a)整体版本数据的属性信息和标识映射信息；

b)所有文件的属性信息和标识映射信息；

c)各个数据块的标识映射信息；

(2)针对每个版本数据，建立对应的索引文件，所述的索引文件包 含针对该版本数据的步骤(1)中提取的信息；

(3)进行数据更新时，对比在先版本数据及其在后版本数据的索引 文件，对比时步骤如下：

a)根据在后版本索引文件中所有文件的属性信息和标识映射信息查 找出在先版本数据中不包含的文件，以及有改动的文件；

对于在先版本数据中不包含的文件，则直接更新，即将在后版本数据 中的该文件复制到在先版本数据中；

对于有改动的文件，根据文件中各个数据块的标识映射信息查找出在 先版本数据中和在后版本数据中有改动的数据块，对有改动的数据块进行 更新，即将在后版本数据中的该数据块复制到在先版本数据中；

b)根据在先版本索引文件中所有的文件的属性信息和标识映射信息 查找出在后版本数据中不包含的文件，以及有改动的文件；

对于在后版本数据中不包含的文件，直接删除该文件；

对于有改动的文件，根据文件中各个数据块的标识映射信息查找出在 后版本数据中不包含的数据块，直接删除该数据块。

本发明步骤(1)中，将某一个版本数据划分为若干数据块时，是以 单个文件为对象，逐个文件来划分的，不同的文件中的数据不会划分到同 一个数据块中，由于数据块的长度是预先指定的，而一个文件划分到最后 时，末尾块的长度一般都不会恰好与预先指定的数据块的长度相等，那么 对于一个文件末尾块的处理方法如下：