[发明专利]跨机房数据同步系统、方法及装置、电子设备

说明书

本发明实施例提供了一种跨机房数据同步系统、方法及装置、电子设备，系统包括：目标中心化聚合服务器、目标数据采集服务器，目标数据采集服务器用于从源机房中的源数据库中获取待同步数据，并将待同步数据反馈给目标中心化聚合服务器；目标中心化聚合服务器用于从目标数据采集服务器获取待同步数据，将待同步数据和用以标识源机房的第一数据进行合并，组合为目标数据，根据目的机房中的目的数据库的主键，将目标数据同步至目的数据库中，其中，目的数据库包含用于存储第一数据的目标字段，目的数据库的主键包括源数据库的主键对应的字段和目标字段。应用本发明实施例提供的方案能够在中心化聚合时，避免污染源数据库和出错，并简化操作。

技术领域

本发明涉及数据同步技术领域，特别是涉及一种跨机房数据同步系统、方法及装置、电子设备、计算机可读存储介质。

背景技术

为方便地为上层应用提供服务，通常需要将相关数据汇聚到一起，即实现数据聚合。数据聚合一般可分为分机房聚合和中心化聚合，其中，分机房聚合，是指将同一个机房的所有数据库中的数据聚合到该机房的数据中心，而中心化聚合，则是提供一个中心化的数据中心，不同机房的数据都聚合到该数据中心的数据库中，且同类型业务的数据都聚合到同一个表中。

举例而言，机房1有两个数据库DB1和DB2，机房2有两个数据库DB3和 DB4，通常DB1和DB2分别存储两个不同类型业务的数据，DB3和DB4分别存储两个不同类型业务的数据，其中，DB1包括数据表Tb1和Tb2，DB2包括数据表 Tb3和Tb4，DB3包括数据表Tb5和Tb6，DB4包括数据表Tb7和Tb8。分机房聚合即是将Tb1、Tb2、Tb3和Tb4四张数据表聚合到DC1的数据库中，将Tb5、 Tb6、Tb7和Tb8四张数据表聚合到DC2的数据库中，此时，DC1和DC2的数据库中分别为4张数据表，至此，完成了分机房聚合；假设DB1和DB3存储的是同类型业务的数据，DB2和DB4存储的是同类型业务的数据，且Tb1和Tb5、 Tb2和Tb6、Tb3和Tb7、Tb4和Tb8存储的数据类型相同，那么，先将Tb1和 Tb5、Tb2和Tb6、Tb3和Tb7、Tb4和Tb8分别合并，得到4张数据表T1、T2、 T3和T4，然后，再将这4张数据表聚合到一个中心化的聚合中心C_DC的数据库中，即为中心化聚合。

而机房1和机房2的数据在进行聚合时，可能会都需要用到其他机房的某些数据，例如，假设机房1存储的为某电商平台在A地区的订单服务数据和支付服务数据，机房2存储的为该电商平台在B地区的订单服务数据和支付服务数据，其中，不管是分机房聚合还是中心化聚合，在对机房1和机房2的数据进行聚合时都需要用到机房3的两个数据库DB5、DB6，该机房3的两个数据库DB5、DB6分别存储用户账户信息和商品信息，可以看出，关于聚合时每一个数据库到数据中心的点对点关系，在分机房聚合的情况下：DB1→DC1、DB2→DC1、DB5→DC1、DB6→DC1、DB3→DC2、DB4→DC2、DB5→DC2、DB6→DC2，共8个点对点关系；而在中心化聚合的情况下：DB1→C_DC、DB2→C_DC、DB5→C_DC、 DB6→C_DC、DB3→C_DC、DB4→C_DC,共6个点对点关系，可以看出，中心化聚合时的点对点关系比分机房聚合少，从而降低了机房配置相关的工作量，并且机房越多体现越明显。

此外，当一些上层应用需要跨机房的数据查询、排序等服务时，中心化聚合是非常有必要的，而由于各个要进行聚合的机房中的数据一般是动态变化的，因此要实现中心化聚合，就涉及到了跨机房的数据同步问题。

现有技术中的数据同步方法，如基于binlog的数据同步方法，要求源数据库与目的数据库类型相同(如都是Mysql数据库)，且数据表名及结构完全相同，即数据表中的主键和其他字段都完全相同(如源数据库中表1包括A、B、 C、D四个字段，且A为主键；那么目的数据库中对应数据表也必须为表1，且包括A、B、C、D四个字段，其中，A为主键)；其中，主键是数据表中的一个或多个字段，它的值用于唯一地标识该数据表中的一条记录。