[发明专利]一种基于日志分析的数据同步方法及装置

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种基于日志分析的数据同步方法及装置。

背景技术

随着信息技术的发展，数据库得到日益广泛的应用。数据库是指长期储存在计算机内、有组织的、可共享的数据集合，利用数据库可以实现很方便的实现对数据的存储和有效管理。在实际应用中，为了降低局部数据库故障造成的数据丢失，经常需要将数据库的信息同步到另一个数据库。

现有技术中，通过复制数据库信息来实现同步，大部分采用只读快照或可更新快照的方式来将源数据库信息复制到目的数据库。然而，这种同步方式需要在源数据库和目的数据库之间建立直接的、稳定的网络连接，而且，由于这种同步方式需要复制源数据库的所有源数据信息，数据传输量很大，占用带宽多，同步效率较低。

发明内容

本发明的目的是提供一种基于日志分析的数据同步方法及装置，用以解决数据同步时数据传输量很大，占用带宽多，同步效率低的问题。

为解决上述技术问题，本发明提供一种基于日志分析的数据同步方法，包括：

遍历源数据文件的日志文件，获取标识信息，其中，所述日志文件包括对所述源数据文件中源数据的操作类型，所述操作类型包括删除操作，和/或插入操作，和/或更新操作；

从所述源数据文件获取与所述标识信息对应的相关源数据；

利用所述标识信息、所述相关源数据以及与所述标识信息对应的所述操作类型，将所述源数据文件同步到目的数据文件。

其中，所述源数据文件和所述日志文件为表格形式，所述标识信息为主键值。

其中，所述利用所述标识信息、所述相关源数据以及与所述标识信息对应的所述操作类型，将所述源数据文件同步到目的数据文件包括：

利用所述标识信息、所述相关源数据以及与所述标识信息对应的所述操作类型生成程序文件，在目的端执行所述程序文件，将所述源数据文件同步到所述目的数据文件。

其中，在所述从所述源数据文件获取与所述标识信息对应的相关源数据之后，且在所述利用所述标识信息、所述相关源数据以及与所述标识信息对应的所述操作类型，将所述源数据文件同步到目的数据文件之前，所述方法进一步包括：

遍历所述日志文件，建立第一临时文件，其中，所述第一临时文件包括所述日志文件中所述操作类型为第一操作类型的所述标识信息；

遍历所述日志文件，根据所述日志文件中所述操作类型对所述第一临时文件进行修改。

其中，所述遍历所述日志文件，建立第一临时文件，其中，所述第一临时文件包括所述日志文件中所述操作类型为第一操作类型的所述标识信息包括：

遍历所述日志文件，建立更新临时文件和插入临时文件，其中，所述更新临时文件包括所述日志文件中操作类型为更新操作的所述标识信息，所述插入临时文件包括所述日志文件中所述操作类型为插入操作的所述标识信息；

所述根据所述日志文件中所述操作类型对所述第一临时文件进行修改包括：

当所述日志文件中所述操作类型为删除操作时，遍历所述更新临时文件和所述插入临时文件，若所述删除操作对应的所述标识信息存在所述更新临时文件或所述插入临时文件中，则删除所述更新临时文件和所述插入临时文件中所述标识信息和所述相关源数据；若所述标识信息不存在所述插入临时文件中，则删除目的数据文件中所述标识信息和所述相关源数据；

当所述日志文件中操作类型为插入操作时，遍历所述插入临时文件，若所述插入操作对应的所述标识信息不存在所述插入临时文件中，则在所述插入临时文件添加所述标识信息；

当所述日志文件中操作类型为更新操作时，遍历所述更新临时文件和所述插入临时文件，若所述更新临时文件和所述插入临时文件中均不存在所述更新操作对应的所述标识信息，则在所述更新临时文件添加所述标识信息。

本发明还提供了一种基于日志分析的数据同步装置，包括：

标识信息获取模块：用于遍历源数据文件的日志文件，获取标识信息，其中，所述日志文件包括对所述源数据文件中源数据的操作类型，所述操作类型包括删除操作，和/或插入操作，和/或更新操作；

相关源数据获取模块：用于从所述源数据文件获取与所述标识信息对应的相关源数据；

同步模块：用于利用所述标识信息、所述相关源数据以及与所述标识信息对应的所述操作类型，将所述源数据文件同步到目的数据文件。

其中，所述源数据文件和所述日志文件为表格形式，所述标识信息为主键值。

其中，所述同步模块包括：