[发明专利]一种基于日志解析的数据同步的过滤方法和同步装置

说明书

本发明公开了一种基于日志解析的数据同步的过滤方法和同步装置，该过滤方法包括：目标端创建连接到源端数据库连接，并在目标端内存中建立针对引用表关联列的结果集；接收引用表和同步表的操作日志，对引用表的操作日志进行解析，根据操作类型和过滤条件动态的维护关联列的结果集；对同步表的操作日志进行解析，得到同步表的关联列的列值；判断所述同步表的关联列的列值是否存在于所述结果集中；若存在，将当前操作日志添加至所述同步表的待执行操作队列中。在内存中缓存结果集，并且动态的维护上述结果集，在对同步表中的数据进行同步时，无需进行引用表的select查询操作即能实现数据的过滤，效率较高，提升了同步表的数据实时同步的性能。

技术领域

本发明属于同步技术领域，更具体地，涉及一种基于日志解析的数据 同步的过滤方法和同步装置。

背景技术

在异构数据库数据实时同步中，通常都会基于业务需求对同步数据表 实施相应的数据过滤策略，以达到仅同步所需要的部分数据的目的。对于 这样一种数据同步规则：源数据库表A与表B通过相对应字段进行关联， 同步表A需要引用源端数据库中的表B中的数据，以实现同步数据过滤， 也即是表A中同步的数据需要满足这样的过滤条件，select*from A where A.field in(select B.field from B where condition)，不满足这种条件的数据则不 进行同步。对于这种通过表字段进行关联的数据过滤条件，为了实现数据 的过滤，同步工具在同步表A中的每一行数据时，都需要根据关联字段(field) 在表B中进行select查询操作，对于满足过滤条件的行记录，则实施数据 同步，否则进行过滤。显然，频繁的select查询会影响源端数据库的性能且 会对表B的使用造成影响，另一方面，当表B的数据量较大时，select查询 耗时较大，会影响表A同步的性能。

鉴于此，克服该现有技术产品所存在的不足是本技术领域亟待解决的 问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于日志解 析的数据同步的过滤方法和同步装置，其目的在于，在内存中缓存结果集， 缓存引用表的关联列的列值得到结果集，将结果集存储在目标端的内存中， 并且在同步过程中通过捕获引用表的操作日志来动态的维护该结果集，在 对同步表中的数据进行同步时，只需要根据关联字段(关联列的列值)， 在结果集中进行直接搜索，而无需进行源表的select查询操作即能实现数据 的过滤，效率较高，提升了同步表的数据实时同步的性能。

为实现上述目的，按照本发明的一个方面，提供了一种基于日志解析 的数据同步的过滤方法，所述过滤方法包括：

目标端创建连接到源端数据库连接，并在目标端内存中建立关联列的 结果集；

接收引用表的操作日志，对引用表的操作日志进行解析，根据操作类 型和过滤条件动态更新关联列的结果集；

接收同步表的操作日志，对所述同步表的操作日志进行解析，得到所 述同步表的关联列的列值；

判断所述同步表的关联列的列值是否存在于所述结果集中；

若存在，则将当前操作日志添加至所述同步表的待执行操作队列中。

优选地，所述目标端创建数据库连接包括：

目标端读取数据源配置文件，提取数据源连接信息，根据所述数据源 连接信息创建连接到源端数据库连接，其中，所述数据源连接信息包括数 据库地址、数据库连接用户名、密码和连接端口。

优选地，所述在目标端内存中建立关联列的结果集包括：

读取结果集缓存配置文件，提取引用表的表名、关联列名和过滤条件；

根据所述引用表的表名、关联列名和过滤条件构建查询语句；