[发明专利]一种数据同步方法、装置、电子设备及存储介质

说明书

本申请提供了一种数据同步方法、装置、电子设备及存储介质，其方法应用于目标服务器，所述目标服务器分别与第一数据库、第二数据库通信连接，所述目标服务器用于模拟所述第一数据库的从库；所述方法包括：接收所述第一数据库发送的目标文件，所述目标文件包括目标配置信息和目标数据；基于所述目标配置文件进行配置，并将所述目标数据添加到队列中，通过目标配置策略对所述队列中的所述目标数据进行处理，得到处理后的目标数据；向所述第二数据库发送所述处理后的目标数据。这样可以通过目标服务器实现对数据的统一接入管理，实现数据的实时收集和分发，保证了数据的实时同步，进而提高数据同步的效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术

随着技术的不断发展，各行业不断产生新的数据需要存储到数据库中。而作为最常用的数据库，MySQL数据库可以应用大大多行业中，例如互联网、社交领域、电商平台和游戏等行业中。

然而，单台的MySQL数据库的性能通常不能满足相关行业的需求，往往需要采用分数据库进行数据分片存储，虽然这样可以提高联机事务处理过程(On-Line TransactionProcessing，简称OLTP)环境的效率，但在数据分析环境需要按照新的规则进行数据汇总的再分配。

目前MySQL数据库数据同步的方法，通常采用第三方工具进行主从同步，可以实现数据的收集和发送，但是无法实现数据的分类和SQL的重写。因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何保证数据的同步效率。

发明内容

为解决上述技术问题，本申请示出了一种数据同步方法、装置、电子设备及存储介质。

第一方面，本申请示出了一种数据同步方法，应用于目标服务器，所述目标服务器分别与第一数据库、第二数据库通信连接，所述目标服务器用于模拟所述第一数据库的从库；所述方法包括：

接收所述第一数据库发送的目标文件，所述目标文件包括目标配置信息和目标数据；

基于所述目标配置文件进行配置，并将所述目标数据添加到队列中，通过目标配置策略对所述队列中的所述目标数据进行处理，得到处理后的目标数据；

向所述第二数据库发送所述处理后的目标数据。

可选地，所述通过目标配置策略对所述队列中的目标数据进行处理，包括：

将所述队列中的所述目标数据按预设照语言的类别进行分类，得到对所述目标数据的分类结果，并将所述分类结果作为所述处理后的目标数据；所述分类结果包括多个类别。

可选地，所述方法还包括：

检测到预设时间段内包括多个类别的所述目标数据的变化信息；

生成基于所述变化信息的通知信息。

可选地，所述第一数据库具体为多个MySQL数据库，所述目标数据包括所述多个MySQL数据库中的数据表；所述通过目标配置策略对所述队列中的目标数据进行处理，包括：

根据所述目标配置策略获取所述多个MySQL数据库中的数据表进行聚合，得到聚合结果，并将所述聚合结果作为处理后的目标数据；所述聚合结果包括多个聚类，每个聚类包括相同的数据表。

可选地，所述目标配置策略用于对所述目标数据的行级过滤，所述行级过滤包括下述中的一种或者几种方式：数据库中的数据分离、相同表的聚合、数据插入、数据更新和数据删除。

可选地，所述目标配置策略用于根据实例配置规则对所述目标数据的表级别的数据过滤。

可选地，所述第一数据库和所述第二数据库均为MySQL数据库，所述目标文件为binlog文件。