[发明专利]数据采集系统和用于数据采集系统的分析方法

摘要

本发明提出一种数据采集系统和用于数据采集系统的分析方法，该数据采集系统包括日志分析器，用于将数据库中重做日志的变更记录信息交付至事务合成器；事务合成器，用于缓存变更记录信息中未提交的事务，在识别到变更记录信息中包含事务提交操作时，分析事务提交操作对应的缓存位置，生成事务消息，并将事务消息交付至数据关系分析器；数据关系分析器，用于提取事务消息中产生变更记录信息的数据表，并根据获取到的数据交付器实例与数据表组之间的映射关系将事务消息分发至对应的数据交付器；数据交付器，用于根据交付目标的类型选择对应的交付算法，以执行交付。通过本发明能够支持数据的并行处理，有效降低数据共享的延时，提升事务同步的性能和效率。

主权项

1.一种数据采集系统，其特征在于，包括：日志分析器，用于监测数据库中重做日志的变更状态，并在所述重做日志产生变更时获取所述数据库的重做日志，生成变更记录信息，并将所述变更记录信息交付至事务合成器；所述事务合成器，用于获取所述变更记录信息，缓存所述变更记录信息中未提交的事务，在识别到所述变更记录信息中包含事务提交操作时，获取所述事务提交操作并分析所述事务提交操作对应的缓存位置，生成事务消息，并将所述事务消息交付至数据关系分析器；所述数据关系分析器，用于接收所述事务消息，提取所述事务消息中产生变更记录信息的数据表，并根据所述事务消息获取数据交付器实例与所述数据表组之间的映射关系，根据所述映射关系将所述事务消息分发至对应的数据交付器；所述数据交付器，用于接收所述数据关系分析器分发的事务消息，并根据交付目标的类型选择对应的交付算法，以执行交付；所述根据所述事务消息获取数据交付器实例与所述数据表组之间的映射关系，包括：根据规则库中定义的依赖关系对所述事务消息包含的数据表进行分组，以得到数据表组和分组数量；判断所述分组数量是否大于预设数量阈值，并在大于所述预设数量阈值时，对所述数据表组进行合并，以得到合并后的数据表组；获取与所述数据表组，或者，与所述合并后的数据表组对应的数据交付器实例；根据所述数据交付器实例获取所述数据交付器实例与数据表组之间的映射关系。