[发明专利]一种基于日志分析的数据同步方法及装置

权利要求书

1.一种基于日志分析的数据同步方法，其特征在于，包括：

遍历源数据文件的日志文件，获取标识信息，其中，所述日志文件包括对所述源数据文件中源数据的操作类型，所述操作类型包括删除操作，和/或插入操作，和/或更新操作；

从所述源数据文件获取与所述标识信息对应的相关源数据；

利用所述标识信息、所述相关源数据以及与所述标识信息对应的操作类型，将所述源数据文件同步到目的数据文件。

2.如权利要求1所述的方法，其特征在于，所述源数据文件和所述日志文件为表格形式，所述标识信息为主键值。

3.如权利要求1所述的方法，其特征在于，所述利用所述标识信息、所述相关源数据以及与所述标识信息对应的操作类型，将所述源数据文件同步到目的数据文件包括：

利用所述标识信息、所述相关源数据以及与所述标识信息对应的操作类型生成程序文件，在目的端执行所述程序文件，将所述源数据文件同步到所述目的数据文件。

4.如权利要求1-3任意一项所述的方法，其特征在于，在所述从所述源数据文件获取与所述标识信息对应的相关源数据之后，在所述利用所述标识信息、所述相关源数据以及与所述标识信息对应的操作类型，将所述源数据文件同步到目的数据文件之前，所述方法进一步包括：

遍历所述日志文件，建立第一临时文件，其中，所述第一临时文件包括所述日志文件中操作类型为第一操作类型的标识信息；

遍历所述日志文件，根据所述日志文件中所述操作类型对所述第一临时文件进行修改。

5.如权利要求4所述的方法，其特征在于，所述遍历所述日志文件，建立第一临时文件包括：

遍历所述日志文件，建立更新临时文件和插入临时文件，其中，所述更新临时文件包括所述日志文件中操作类型为更新操作的标识信息，所述插入临时文件包括所述日志文件中操作类型为插入操作的标识信息；

所述根据所述日志文件中所述操作类型对所述第一临时文件进行修改包括：

当所述日志文件中操作类型为删除操作时，遍历所述更新临时文件和所述插入临时文件，若所述删除操作对应的所述标识信息存在所述更新临时文件或所述插入临时文件中，则删除所述更新临时文件和所述插入临时文件中所述标识信息和所述相关源数据；若所述标识信息不存在所述插入临时文件中，则删除目的数据文件中所述标识信息和所述相关源数据；

当所述日志文件中操作类型为插入操作时，遍历所述插入临时文件，若所述插入操作对应的所述标识信息不存在所述插入临时文件中，则在所述插入临时文件添加所述标识信息；

当所述日志文件中操作类型为更新操作时，遍历所述更新临时文件和所述插入临时文件，若所述更新临时文件和所述插入临时文件中均不存在所述更新操作对应的所述标识信息，则在所述更新临时文件添加所述标识信息。

6.一种基于日志分析的数据同步装置，其特征在于，包括：

标识信息获取模块：用于遍历源数据文件的日志文件，获取标识信息，其中，所述日志文件包括对所述源数据文件中源数据的操作类型，所述操作类型包括删除操作，和/或插入操作，和/或更新操作；

相关源数据获取模块：用于从所述源数据文件获取与所述标识信息对应的相关源数据；

同步模块：用于利用所述标识信息、所述相关源数据以及与所述标识信息对应的操作类型，将所述源数据文件同步到目的数据文件。

7.如权利要求6所述的装置，其特征在于，所述源数据文件和所述日志文件为表格形式，所述标识信息为主键值。

8.如权利要求6所述的装置，其特征在于，所述同步模块包括：

程序文件生成模块：用于利用所述标识信息、所述相关源数据以及与所述标识信息对应的所述操作类型生成程序文件；

程序文件同步模块：用于在目的端执行所述程序文件，将所述源数据文件同步到所述目的数据文件。

9.如权利要求6-8任意一项所述的装置，其特征在于，所述装置进一步包括：

临时文件建立模块：用于遍历所述日志文件，建立第一临时文件，其中，所述第一临时文件包括所述日志文件中操作类型为第一操作类型的标识信息；

临时文件修改模块：用于遍历所述日志文件，根据所述日志文件中所述操作类型对所述第一临时文件进行修改。

10.如权利要求9所述的装置，其特征在于，所述临时文件建立模块具体用于：遍历所述日志文件，建立更新临时文件和插入临时文件，其中，所述更新临时文件包括所述日志文件中操作类型为更新操作的标识信息，所述插入临时文件包括所述日志文件中操作类型为插入操作的所述标识信息；

当所述日志文件中操作类型为删除操作时，遍历所述更新临时文件和所述插入临时文件，若所述删除操作对应的所述标识信息存在所述更新临时文件或所述插入临时文件中，则删除所述更新临时文件和所述插入临时文件中所述标识信息和所述相关源数据；若所述标识信息不存在所述插入临时文件中，则删除目的数据文件中所述标识信息和所述相关源数据；

当所述日志文件中操作类型为插入操作时，遍历所述插入临时文件，若所述插入操作对应的所述标识信息不存在所述插入临时文件中，则在所述插入临时文件添加所述标识信息；

当所述日志文件中操作类型为更新操作时，遍历所述更新临时文件和所述插入临时文件，若所述更新临时文件和所述插入临时文件中均不存在所述更新操作对应的所述标识信息，则在所述更新临时文件添加所述标识信息。