[发明专利]一种多数据存储方式的数据同步系统

权利要求书

1.一种多数据存储方式的数据同步系统，其特征在于用于实现一个项目里多个数据存储方式的数据同步，所述系统包括：

数据源模块，所述数据源模块用于指定源数据库、目标数据库以及解析方式，对于指定的每个源数据库，用于监听所述源数据库并读取所述源数据库中写入的新数据，并将所述新数据作为原始数据输出；

数据处理模块，所述数据处理模块与所述数据源模块交互并从数据源模块接收原始数据，对于接收的原始数据，用于基于对应的解析方式对所述原始数据进行解析处理，得到与目标数据库格式适配的处理后数据；

数据目标模块，所述数据目标模块与所述数据处理模块交互并从数据处理模块接收处理后数据，用于将所述处理后数据写入对应的目标数据库进行持久化存储；

日志信息模块，所述日志信息模块用于监听所述数据源模块、数据处理模块以及数据目标模块并进行异常检测，并形成各个模块的日志信息。

2.根据权利要求1所述的一种多数据存储方式的数据同步系统，其特征在于所述数据源模块配置有多个数据同步器，对于每个数据同步器，所述数据源模块用于指定所述数据同步器的源数据库、目标数据库以及解析方式；

所述数据同步器用于以独立进程的方式运行并监听对应源数据库内是否有新数据写入，监听到源数据库内写入有新数据时，所述数据同步器用于从源数据库中读取新数据并将新数据作为原始数据传输至数据处理模块。

3.根据权利要求1所述的一种多数据存储方式的数据同步系统，其特征在于所述数据源模块用于从源数据库读取新数据时，对读取地址进行标记形成标记记录。

4.根据权利要求1所述的一种多数据存储方式的数据同步系统，其特征在于所述数据处理模块用于通过如下步骤对原始数据进行解析处理：

将大批量的原始数据进行分割，分割为逐条数据；

对每条数据进行格式转换，将数据转换为目标数据库支持的数据格式；

每条数据均转换为目标数据库支持的数据格式后，判断数据的valid字段是否可用，将可用的数据传输至数据目标模块。

5.根据权利要求4所述的一种多数据存储方式的数据同步系统，其特征在于对于每条数据，将当前数据转换为目标数据库支持的数据格式时，如果当前数据的数据格式错误、无法转换为目标数据库支持的数据格式，形成报错信息并反馈至日志信息模块，并忽略当前数据，对下一条数据进行格式转换。

6.根据权利要求1所述的一种多数据存储方式的数据同步系统，其特征在于所述数据目标模块用于记录当前数据的写入地址作为标记，并记录写入的处理后数据的条数和时间作为记录信息。

7.根据权利要求1所述的一种多数据存储方式的数据同步系统，其特征在于所述日志信息模块中配置有多个检测参数，包括info、debug、error；

所述日志信息模块用于基于每项检测参数对数据源模块、数据处理模块以及数据目标模块进行异常检测形成，每个模块对应的日志信息包括运行状态信息和报错信息；

如果日志信息中存在error信息，需要运维人员查看对应的数据为何报错以及该如何解决；

如果日志信息中存在info信息与debug信息，方便运维人员查看error信息前后各逻辑的正确与否。

8.根据权利要求1-7任一项所述的一种多数据存储方式的数据同步系统，其特征在于所述数据源模块、数据处理模块、数据目标模块之间通过GOLANG的管道功能进行数据传输。