[发明专利]一种数据仓库的数据同步的方法和装置

说明书

本发明公开了一种数据仓库的数据同步的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取源端和目标端的元数据信息，元数据信息中包括表结构；判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；对目标端的用户数据进行同步，使其与源端的用户数据一致。该实施方式克服了现有技术中的数据仓库在同步数据时灵活性差，不能适应元数据变更的场景的技术问题，进而达到自适应的处理元数据变更及对用户数据信进行灵活同步的技术效果，有利于提高数据同步的易用性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据仓库的数据同步的方法和装置。

背景技术

数据仓库(Data Warehouse，DW或DWH)是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。目前，数据仓库作为处理和运行大数据的平台，涉及大量的文件存储及数据计算。

元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性(propert6)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

数据仓库之间在同步数据时灵活性差，不能很好的适应元数据变更的场景。

发明内容

有鉴于此，本发明实施例提供一种数据仓库的数据同步的方法和装置，能够解决现有技术中的数据仓库在同步数据时灵活性差，不能适应元数据变更的场景。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据仓库的数据同步的方法。

本发明实施例的一种数据仓库的数据同步的方法包括：获取源端和目标端的元数据信息，元数据信息中包括表结构；判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；对目标端的用户数据进行同步，使其与源端的用户数据一致。

可选的，本发明的实施例在获取源端和目标端的元数据信息之前，还包括：保存与数据仓库相应的信息配置，信息配置用于解析服务地址以及获取元数据信息；保存与数据同步相应的参数配置，参数配置用于变更表结构。

可选的，本发明实施例的信息配置包括服务目录的名称、主备节点的域名信息以及对应的端口信息。

可选的，本发明实施例的参数配置包括同时拷贝的最大文件数目、是否覆盖目标文件、是否跳过文件校验以及带宽最大值。

可选的，本发明的实施例变更目标端的表结构使其与源端的表结构相同的步骤包括：将目标端的表结构删除；根据保存的配置参数在目标端创建与源端相同的表结构。

可选的，本发明的实施例变更目标端的表结构使其与源端的表结构相同的步骤包括：将目标端的表结构与源端的表结构进行一一对比，以确定出目标端中与源端存在差异的表结构；将目标端中存在差异的表结构更新为与源端相同的表结构。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据仓库的数据同步的装置。

本发明实施例的一种数据仓库的数据同步的装置包括：获取模块，用于获取源端和目标端的元数据信息，元数据信息中包括表结构；变更模块，用于判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；同步模块，用于对目标端的用户数据进行同步，使其与源端的用户数据一致。

可选的，本发明的实施例还包括保存模块，用于：保存与数据仓库相应的信息配置，信息配置用于解析服务地址以及获取元数据信息；保存与数据同步相应的参数配置，参数配置用于变更表结构。