[发明专利]一种关系型数据库间结构化数据的同步方法及系统

说明书

本发明公开了一种关系型数据库间结构化数据的同步方法，所述方法用于实现源数据库和目标数据库之间的数据同步；所述方法包括：步骤1)按照实际业务应用需求，对源数据库和源数据库的日志信息中需要导出的结构化原始数据提取键值对信息，结合数据操作类型和数据条目标志格式改写成符合格式要求的中间数据，以json格式存为中间导出数据；步骤2)根据目标数据库的数据导入策略，结合数据清洗操作和数据库间格式转换操作将json中间导出数据从基础数据映射为目标数据，并转化为符合相应数据库导入格式的待导入数据，然后导入目标数据库；步骤3)对步骤2)生成的待导入数据结合目标数据库类型进行逆向解析操作，生成用于数据版本回滚的备份恢复数据。

技术领域

本发明涉及数据同步处理领域，尤其涉及一种关系型数据库间的结构化数据的同步方法和系统。

背景技术

在数据处理领域，通常需要进行数据的抽取、映射转换、同步等流程。其中原始数据的存档入库通常存储在MySQL、MariaDB、SQLServer等传统数据库，而支撑大型检索需求，进一步的数据处理又将数据存储于elasticsearch、solr等专业服务于数据检索引擎的关系型数据库中，因此，数据需要在多种关系型数据库间进行映射、同步。此外，提供大型数据应用的企业、公司及数据分析机构等，由于数据资源的权限管控通常配备了内外网的安全隔离设置，对数据的同步就提出了离线单向传递的要求。

传统的数据同步方案能够很好地解决同一类型的数据库的数据同步，然而避开了不同数据库之间的数据映射同步需求；同时，同一网络下进行双向通信能够很好地维护数据间的同步一致性，却很难及时有效地解决单向通信限制下的由于数据版本冲突的产生数据备份恢复问题。

发明内容

本发明的目的在于针对不同关系型数据库之间的结构化数据的同步，以及存在单向通信等离线结构化数据的同步等数据处理需求，提出一种关系型数据库间结构化数据的同步方法及系统，适用于解决数据库间的数据同步问题，能够完成数据库间数据的广义上的同步，即包括数据的完全一致性性及添加数据清洗操作后的不完全一致的映射同步；尤其适合完成离线情况下的数据同步，增加了数据逆向解析操作，用于数据版本回滚；保证数据的可靠性和稳定性。

为了实现上述目的，本发明提出了一种关系型数据库间结构化数据的同步方法，所述方法用于实现源数据库和目标数据库之间的数据同步；包括但不限于相同类型数据库间与不同类型数据库间的数据完全一致性同步以及结合数据清洗操作的数据不完全一致性同步；所述方法包括：

步骤1)按照实际业务应用需求，对源数据库和源数据库的日志信息中需要导出的结构化原始数据提取键值对信息，结合数据操作类型和数据条目标志格式改写成符合格式要求的中间数据，以json格式存为中间导出数据；

步骤2)根据目标数据库的数据导入策略，结合数据清洗操作和数据库间格式转换操作将json中间导出数据从基础数据映射为目标数据，并转化为符合相应数据库导入格式的待导入数据，然后导入目标数据库；

步骤3)对步骤2)生成的待导入数据结合目标数据库类型进行逆向解析操作，生成用于数据版本回滚的备份恢复数据。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)将源数据库中的需要导出的结构化原始数据划分为：数据表信息、全字段数据和部分数据；

步骤1-2)将数据表信息导出：将源数据库中需要导出的数据表的结构信息导出，提取键值对信息并转换成json格式保存；所述数据表的结构信息包括：数据库名、表名、编码以及所有字段的字段名、类型、长度；