[发明专利]一种多数据存储方式的数据同步系统

说明书

本发明公开了一种多数据存储方式的数据同步系统，属于数据存储技术领域，要解决的技术问题为数据库运维中、如何及时高效的对多数据库数据进行同步。包括：数据源模块，对于指定的每个源数据库，用于监听所述源数据库并读取所述源数据库中写入的新数据，并将所述新数据作为原始数据输出；数据处理模块，用于基于对应的解析方式对所述原始数据进行解析处理，得到与目标数据库格式适配的处理后数据；数据目标模块，用于将所述处理后数据写入对应的目标数据库进行持久化存储；日志信息模块，用于监听所述数据源模块、数据处理模块以及数据目标模块并进行异常检测，并形成各个模块的日志信息。

技术领域

本发明涉及数据存储技术领域，具体地说是一种多数据存储方式的数据同步系统。

背景技术

现代数据库的种类与用途越来越多，有针对数据临时存储的消息队列，有针对数据查询速率的内存数据库，也有针对持久化存储的数据库。所以在如今，越来越多的项目会同时采用这两种或多种数据存储方式，但同时使用这两种或多种不同的数据存储方式，如果使用人工方式同步不同数据库中的数据，不仅使得维护成本攀升，也会造成一定时间内的两边数据不一致的情况。并且仅靠人工的软件，监控运行状态和发现运行故障，已经无法维持系统稳定运行。而此方法不仅自动将某一个数据库中获取的新数据传入其他数据库中，并且记录了各种运行状态和不同模块事件的重要数据，能够帮助运维人员理解系统状态，并且分析、查找故障根本原因。

传统上，数据同步与数据维护需要运维人员手动的进行数据源数据库的数据导出与数据目标数据库的数据导入，这不仅需要大量的传输时间，也会要求整个系统服务停机一段时间来保证各数据库之间的数据的完整性一致性，并且不同数据库中存储数据的格式也不一致，对于数据的格式转换运维人员通常基于人工手段检查日志来发现异常分析故障，比如关键字搜索和规则匹配等等，这极大的增加了维护成本。而庞大的系统项目的正常运行依赖于各个节点的稳定且高效的工作，一旦系统的一部分数据没有进行同步，用户查询的数据不是最新真实的数据，可能造成的损失将会是用户无法接受的。其次传统的导入方式一旦有一条数据格式出错，将会影响整次的导入报错。因此，基于以上情况，人工导入导出数据库来进行多数据库的同步的方法耗力、耗时、并且不能达到预期的查错效果。

数据库运维中、如何及时高效的对多数据库数据进行同步，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种多数据存储方式的数据同步系统，来解决数据库运维中、如何及时高效的对多数据库数据进行同步的技术问题。

第一方面，本发明的一种多数据存储方式的数据同步系统，用于实现一个项目里多个数据存储方式的数据同步，所述系统包括：

数据源模块，所述数据源模块用于指定源数据库、目标数据库以及解析方式，对于指定的每个源数据库，用于监听所述源数据库并读取所述源数据库中写入的新数据，并将所述新数据作为原始数据输出；

数据处理模块，所述数据处理模块与所述数据源模块交互并从数据源模块接收原始数据，对于接收的原始数据，用于基于对应的解析方式对所述原始数据进行解析处理，得到与目标数据库格式适配的处理后数据；

数据目标模块，所述数据目标模块与所述数据处理模块交互并从数据处理模块接收处理后数据，用于将所述处理后数据写入对应的目标数据库进行持久化存储；

日志信息模块，所述日志信息模块用于监听所述数据源模块、数据处理模块以及数据目标模块并进行异常检测，并形成各个模块的日志信息。

作为优选，所述数据源模块配置有多个数据同步器，对于每个数据同步器，所述数据源模块用于指定所述数据同步器的源数据库、目标数据库以及解析方式；

所述数据同步器用于以独立进程的方式运行并监听对应源数据库内是否有新数据写入，监听到源数据库内写入有新数据时，所述数据同步器用于从源数据库中读取新数据并将新数据作为原始数据传输至数据处理模块。