[发明专利]数据采集系统和用于数据采集系统的分析方法

权利要求书

1.一种数据采集系统，其特征在于，包括：

日志分析器，用于监测数据库中重做日志的变更状态，并在所述重做日志产生变更时获取所述数据库的重做日志，生成变更记录信息，并将所述变更记录信息交付至事务合成器；

所述事务合成器，用于获取所述变更记录信息，缓存所述变更记录信息中未提交的事务，在识别到所述变更记录信息中包含事务提交操作时，获取所述事务提交操作并分析所述事务提交操作对应的缓存位置，生成事务消息，并将所述事务消息交付至数据关系分析器；

所述数据关系分析器，用于接收所述事务消息，提取所述事务消息中产生变更记录信息的数据表，并根据所述事务消息获取数据交付器实例与所述数据表组之间的映射关系，根据所述映射关系将所述事务消息分发至对应的数据交付器；

所述数据交付器，用于接收所述数据关系分析器分发的事务消息，并根据交付目标的类型选择对应的交付算法，以执行交付；

所述根据所述事务消息获取数据交付器实例与所述数据表组之间的映射关系，包括：根据规则库中定义的依赖关系对所述事务消息包含的数据表进行分组，以得到数据表组和分组数量；判断所述分组数量是否大于预设数量阈值，并在大于所述预设数量阈值时，对所述数据表组进行合并，以得到合并后的数据表组；获取与所述数据表组，或者，与所述合并后的数据表组对应的数据交付器实例；根据所述数据交付器实例获取所述数据交付器实例与数据表组之间的映射关系。

2.如权利要求1所述的数据采集系统，其特征在于，所述生成变更记录信息，包括：

所述日志分析器根据连接的所述数据库的类型选取对应的重做日志分析算法；

根据所述对应的重做日志分析算法和所述数据库中的变更信息生成变更信息记录。

3.如权利要求2所述的数据采集系统，其特征在于，所述日志分析器还用于记录每次已生成变更信息记录时重做日志的位置，以在所述数据库再一次产生变更时，从前一次记录的所述已生成变更信息记录时重做日志的位置之后获取所述数据库的重做日志，以避免对已生成变更信息记录的重做日志作二次解析。

4.如权利要求3所述的数据采集系统，其特征在于，所述事务合成器还用于在识别到所述变更记录信息中包含事务回滚操作时，清空所述事务回滚操作对应的事务的缓存信息，并丢弃所述事务回滚操作对应的事务。

5.如权利要求4所述的数据采集系统，其特征在于，所述根据规则库中定义的依赖关系对所述事务消息包含的数据表进行分组，包括：

将具有所述依赖关系的数据表划分为一组，其中，所述依赖关系包括：依赖关系a、两个所述事务消息包含同一张数据表的变更记录信息；依赖关系b、两个所述事务消息中所包含的数据表的变更记录信息有主键和外键的依赖关系；依赖关系c、两个事务消息操作的数据表之间存在业务依赖关系。

6.如权利要求5所述的数据采集系统，其特征在于，所述依赖关系a和所述依赖关系b由系统内置程序预先设定，所述依赖关系c由用户进行配置，所述数据关系分析器还用于接收所述用户设置的业务依赖关系，以使所述用户对所述依赖关系c进行配置。

7.如权利要求4所述的数据采集系统，其特征在于，所述对所述数据表组进行合并，以得到合并后的数据表组，包括：

根据所述数据表组中的数据表的变更频率，对所述数据表组进行合并，以得到合并后的数据表组。

8.如权利要求1-7任一项所述的数据采集系统，其特征在于，所述数据采集系统包含一个或多个的所述数据交付器。