[发明专利]元数据同步方法、系统、设备及存储介质

说明书

本发明提供了一种元数据同步方法、系统、设备及存储介质，该方法包括：接收待同步的Kylin元数据的存储路径和项目名称；从所述存储路径中获取待同步的项目的元数据；接收目标集群的位置信息；将所述待同步的项目的元数据发送至所述目标集群的位置。本发明提出了一种快速、准确地同步Kylin元数据的方法，对于同样的Kylin业务需要在多个集群同时实现的需求，只需在一个集群进行手工创建、维护项目元数据，其它集群可以一键同步为同样状态，避免人工重复操作，提高了效率和准确率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种元数据同步方法、系统、设备及存储介质。

背景技术

在Kylin成为Apache基金顶级项目后，其关注度大增。又由于Kylin的预计算技术可大大加速查询模式固定的OLAP业务的使用效率，其在中外各互联网公司中得到了广泛的应用。OLAP(Online Analytical Process，联机分析处理)，指的是以多维度的方式分析数据，而且能够弹性地提供上卷(Roll-up)、下钻(Drill-down)和透视分析(Pivot)等操作。它是呈现集成性决策信息的方法，多用于决策支持系统、商务智能或数据仓库。Kylin是Apache kylin的简称，是Hadoop大数据平台上的一个开源OLAP引擎，它采用多位立方体预计算技术，可以将大数据的SQL(Structured Query Language，结构化查询语言)查询速度提升到亚秒级别。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

使用Kylin时开发人员会在其上手动建立project(项目)、model(模型)、cube(数据立方体)、table(表)并手动进行构建。这在只有一套Kylin集群时没有问题，然而当由于安全原因或其它因素导致有几十甚至上百套Kylin集群时，如果要在每个集群都用手动方法创建同一套Kylin project，则效率太过低下，而且容易出现人为失误。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种元数据同步方法、系统、设备及存储介质，能够实现快速、准确地同步Kylin元数据。

本发明实施例提供一种元数据同步方法，所述方法包括如下步骤：

接收待同步的Kylin元数据的项目名称；

从待同步的Kylin元数据的存储路径中获取待同步的项目的元数据；

接收目标集群的位置信息；

将所述待同步的项目的元数据发送至所述目标集群的位置。

可选地，从所述存储路径中获取待同步的项目的元数据之后，还包括如下步骤：

从所述待同步的项目的元数据中提取各个模型名称和表名称；

根据所述模型名称和表名称，从所述存储路径中获取各个模型的元数据和各个表的元数据。

可选地，从所述存储路径中获取待同步的项目的元数据之后，还包括如下步骤：

从所述待同步的项目的元数据中提取各个数据立方体的名称；

根据所述数据立方体的名称，从所述存储路径中获取各个数据立方体的元数据；

对于每个数据立方体，获取数据立方体的各个片段(cube segment)的元数据。

可选地，将所述待同步的项目的元数据发送至所述目标集群的位置之后，还包括如下步骤：

请求Kylin构建接口，根据所述片段的元数据，依次为各个数据立方体提交片段的构建。

可选地，所述获取数据立方体的所有片段的元数据，包括如下步骤：