[发明专利]基于MySQL的分库分表同步方法、装置、电子设备和计算机可读存储介质

说明书

本申请涉及一种基于MySQL的分库分表同步方法、装置、电子设备和计算机可读存储介质。所述方法包括：获取同步指令和配置信息；判断所述同步指令是否包含占位符，若包含，解析所述同步指令提取待同步库名称和待同步表名称替换所述占位符，得到多条结构化查询语言SQL指令；初始化线程池，通过所述线程池链接所述配置信息对应的目标SQL数据库，提取所述多条SQL指令对应的多组待同步表数据；合并所述多组待同步表数据得到至少一个本地同步文件；调用预设的分布式文件系统HDFS接口将所述至少一个本地同步文件存储至预设的HDFS存储表的预设路径。实施本申请实施例有利于提高Hapood集群的工作效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于MySQL的分库分表同步方法、装置、电子设备和计算机可读存储介质。

背景技术

随着大数据时代的到来，数据呈现爆炸性增长，数据存储的问题也随之产生，因此推动了一系列数据库的研究。

MySQL是一种关系型数据库管理系统，关系数据库通过将数据保存在不同的表中增加了数据处理速度和灵活性。在实际的应用中，MySQL产生的海量数据库在上传分布式文件系统HDFS时会产生大量的小文件，其中，HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，大量小文件严重制约HDFS的拓展性和性能，进而制约Hadoop的工作效率。因此，需要对小文件进行合并，目前一种处理方法是在上传HDFS之前对数据表进行合并，在MySQL中合并数据表时需要依据物理表逐张处理，每两个表合并时需要重新配置，从而导致后续维护困难，另一种处理方法是在上传HDFS后再对小文件进行合并，但这种处理方法需要消耗Hadoop集群中大量的yarn计算资源，制约Hadoop的工作效率，因此，目前亟需提出一种基于MySQL的分库分表同步方法。

发明内容

本申请实施例提供一种基于MySQL的分库分表同步方法、装置、电子设备和计算机可读存储介质，用于同步MySQL的数据表，并在将数据表上传至HDFS之前对数据表进行合并。

第一方面，本申请实施例提供一种基于MySQL的分库分表同步方法，包括：

获取同步指令和配置信息；

判断所述同步指令是否包含占位符，若包含，解析所述同步指令提取待同步库名称和待同步表名称替换所述占位符，得到多条结构化查询语言SQL指令；

初始化线程池，通过所述线程池链接所述配置信息对应的目标SQL数据库，提取所述多条SQL指令对应的多组待同步表数据；

合并所述多组待同步表数据得到至少一个本地同步文件；

调用预设的分布式文件系统HDFS接口将所述至少一个本地同步文件存储至预设的HDFS存储表的预设路径。

在其中一个实施例中，所述占位符包括：库占位符和表占位符，所述解析所述同步指令提取待同步库名称和待同步表名称替换所述占位符，包括：通过正则表达式从所述同步指令中获取库编号区间；获取预设的数据库前缀；在所述库编号区间内循环提取库编号作为数据库后缀，基于所述数据库前缀和所述数据库后缀生成所述待同步库名称；基于所述待同步库名称替换所述同步指令的库占位符，得到待替换SQL指令；解析所述同步指令提取所述待同步表名称替换所述待替换SQL指令的表占位符。

在其中一个实施例中，所述解析所述同步指令提取所述待同步表名称替换所述待替换SQL指令的表占位符，包括：针对每一所述待替换SQL指令，通过所述正则表达式从所述待替换SQL指令中获取表编号区间；获取预设的数据表前缀；在所述表编号区间内循环提取表编号作为数据表后缀，基于所述数据表前缀和所述数据表后缀生成所述待同步表名称；基于所述待同步表名称替换所述表占位符，得到所述SQL指令。