[发明专利]云端数据的迁移方法、装置及电子设备

说明书

本公开涉及一种云端数据的迁移方法、装置、电子设备及计算机可读介质。该方法包括：实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。本公开涉及的云端数据的迁移方法、装置、电子设备及计算机可读介质，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种云端数据的迁移方法、装置、电子设备及计算机可读介质。

背景技术

ETL，Extraction-Transformation-Loading的缩写，即数据抽取(Extract)、转换(Transform)、装载(Load)的过程，ETL是构建数据仓库的重要环节，但其对象并不限于数据仓库。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI(Business Intelligence，商业智能)项目重要的一个环节。通过ETL，可以基于源系统中的数据来生成数据仓库。ETL搭建了OLTP(on-line transaction processing，联机事务处理)系统和OLAP(On-Line Analytical Processing，联机分析处理)系统之间的桥梁，是数据从源系统流入数据仓库的通道。通常情况下，在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。

一般在大型公司中，数据仓库实例中ETL主要分为入口和出口俩个环节。入口环节：即将公司内部的业务库数据同步至第三方云存储器的环节，出口环节：数据在进入第三方云存储器之后经过DW(数据仓库)层生成应用层数据再导出到本地的报表数据库的过程。这两个环节中都涉及很多的数据操作，出错率很高。迫切需要一种新的云端数据的迁移方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种云端数据的迁移方法、装置、电子设备及计算机可读介质，能够在业务数据库中的数据导入和导出云端数据库的过程中，保证数据的一致性、及时性、准确性、提高工作效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种云端数据的迁移方法，该方法包括：实时获取本地业务数据库中待同步的数据表的二进制日志文件；将所述二进制日志文件同步至云端数据库中以生成日志表；由所述云端数据库中提取所述日志表和其对应的基础表；对所述日志表进行解析以生成数据同步脚本；基于所述数据同步脚本对所述基础表进行处理，以将本地业务数据库中的待同步的数据表同步到云端数据库中。

可选地，还包括：确定待导出的数据表的标识；基于所述标识由本地报表数据库获取所述数据表的结构；基于所述数据表的结构生成数据导出脚本；基于所述数据导出脚本由所述云端数据库中提取所述标识对应数据表，以将其导出到本地报表数据库。

可选地，将所述二进制日志文件同步至云端数据库中以生成日志表，包括：由所述二进制文件中提取所述数据表的修改记录；由所述修改记录中提取递增标识、更新前数据、更新后数据、操作指令、修改时间以基于所述修改记录生成所述日志表。

可选地，由所述云端数据库中提取所述日志表和其对应的基础表，包括：由所述云端数据库中提取预设时间段内的所述日志表；提取所述日志表对应的基础表。