[发明专利]一种基于日志解析的数据同步的过滤方法和同步装置

权利要求书

1.一种基于日志解析的数据同步的过滤方法，其特征在于，所述过滤方法包括：

目标端创建连接到源端数据库的连接，并在目标端内存中建立针对引用表关联列的结果集；

对引用表的操作日志进行解析，根据操作类型和过滤条件动态更新关联列的结果集；

接收同步表的操作日志，对所述同步表的操作日志进行解析，得到所述同步表的关联列的列值；

判断所述同步表的关联列的列值是否存在于所述结果集中；

若存在，则将当前操作日志添加至所述同步表的待执行操作队列中。

2.根据权利要求1所述的过滤方法，其特征在于，所述目标端创建连接到源端数据库的连接包括：

目标端读取数据源配置文件，提取数据源连接信息，根据所述数据源连接信息创建连接到源端数据库的连接，其中，所述数据源连接信息包括数据库地址、数据库连接用户名、密码和连接端口。

3.根据权利要求1所述的过滤方法，其特征在于，所述在目标端内存中建立针对引用表关联列的结果集包括：

读取结果集缓存配置文件，提取引用表的表名、关联列名和过滤条件；

根据所述引用表的表名、关联列名和过滤条件构建查询语句；

基于连接到源端数据库的连接，通过所述查询语句查询出满足所述过滤条件的目标列值；

在目标端内存中构建哈希缓存结构，以所述目标列值为哈希搜索键值，建立基于哈希结构的结果集。

4.根据权利要求3所述的过滤方法，其特征在于，对引用表的操作日志进行解析，根据操作类型和过滤条件动态更新关联列的结果集包括：

接收所述引用表的操作日志，根据所述引用表的操作日志动态更新所述结果集；

其中，动态更新的过程包括：

判断所述引用表的操作日志的操作类型；

若为DML操作，则判断所述操作日志是否满足所述过滤条件；

若满足，则提取所述引用表的关联列的目标列值，并根据所述DML操作的操作类型策略性更新所述结果集。

5.根据权利要求4所述的过滤方法，其特征在于，所述根据所述DML操作的操作类型策略性更新所述结果集包括：

当所述DML操作为INSERT操作时，判断INSERT操作是否满足配置文件中设定的过滤条件；

若不满足，则不更新所述结果集；

若满足，则判断INSERT操作对应的目标列值是否存在于所述结果集中；

若存在，则不更新所述结果集；

若不存在，则将INSERT操作对应的目标列值进行哈希缓存，以更新所述结果集。

6.根据权利要求4所述的过滤方法，其特征在于，所述方法还包括：

当所述DML操作为UPDATE操作时，判断UPDATE操作更新前的目标列值是否存在于所述结果集中；

若存在，则判断UPDATE操作是否满足配置文件中设定的过滤条件；

若满足，则释放所述结果集中UPDATE操作的旧值，将UPDATE操作的新值进行哈希缓存，以更新所述结果集；

若不满足，则释放所述结果集中UPDATE操作的旧值，以更新所述结果集；

若不存在，则判断UPDATE操作是否满足配置文件中设定的过滤条件；

若满足，则将UPDATE操作更新后的目标列值进行哈希缓存，以更新所述结果集；

若不满足，则不更新结果集。

7.根据权利要求4所述的过滤方法，其特征在于，所述方法还包括：

当所述DML操作为DELETE操作时，释放所述结果集中DELETE操作的列值。

8.根据权利要求4所述的过滤方法，其特征在于，所述方法还包括：

若为TRUNCATE操作或DROP操作，则释放所述结果集的哈希结构，并重置为未初始化状态。