[发明专利]关系型数据库和数据仓库的数据同步方法、装置及设备

说明书

本公开涉及一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。该方法包括：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。本公开涉及的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。

背景技术

关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库的数据是从原来的分散的数据库数据(mysql等关系型数据库)抽取出来的。数据仓库的数据与关系型数据库中的数据差别甚大。第一，数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中，有许多重复和不一样的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；第二，数据仓库中的综合数据不能直接由关系型数据库直接得到。

因此在关系型数据库中的数据进入数据仓库进行数据处理之前，需要经过数据转化工作，这也是目前数据仓库技术中的关键点。目前经常是在每天的业务处理较少的时期，预留出一段时间专供数据库与数据仓库之间进行数据同步，但是随着很多业务数据对数据实时性要求的提高，目前的做法已经不能满足需要。因此，需要一种新的关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种关系型数据库和数据仓库的数据同步方法、装置、电子设备及计算机可读介质，能够实时的将关系型数据库中的数据更新到数据仓库中，以便业务人员进行数据分析处理。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种关系型数据库和数据仓库的数据同步方法，该方法包括：实时获取来自关系型数据库的二进制日志文件；将所述二进制日志文件进行解析，生成多条数据更新记录；将所述多条数据更新记录分别传输到分布式发布订阅消息系统的多个分区中；根据所述数据更新记录生成同步任务；以及根据所述同步任务将所述多条数据更新记录同步到数据仓库中。

可选地，还包括：在所述同步任务队列中的同步任务被成功执行后，删除缓存中的相应的数据更新记录。

可选地，还包括：在所述同步任务队列中的同步任务未被成功执行时，进行数据回滚处理并再次执行所述未被成功执行的同步任务。

可选地，将所述多个数据更新记录分别传输到分布式发布订阅消息系统的多个分区中包括：获取所述关系型数据库中的多个数据表的哈希值；以及将具有相同哈希值的数据表的数据更新记录传输到所述分布式发布订阅消息系统的相同分区中。

可选地，根据所述数据更新记录生成同步任务包括：将分区中的所述数据更新记录传输到缓存中；以及根据所述更新记录生成所述同步任务。