[发明专利]用于管理元数据的方法、系统及存储介质

说明书

本发明的一些实施例还提供了一种用于数据同步的系统，包括：数据采集代理模块、消息中间件、数据消费落地模块和元数据注册中心。数据采集代理模块能够根据源端数据库表的表结构生成元数据并将其注册到注册中心，其中所生成的元数据包括标识和版本号。数据消费落地模块能够从所消费的数据中解析出元数据的标识和版本号，并向注册中心查询与所解析出的标识和版本号对应的元数据。本发明能够实时数据同步过程中的业务数据的多版本管理和元数据配置的热更新。

技术领域

本公开涉及大数据技术领域，特别是涉及一种数据同步装置法、方法及存储介质。

背景技术

随着大数据技术的发展，越来越多的系统要求实时化的管理。例如，数仓技术也由传统离线数仓向实时数仓发展。实时数仓建立在传统离线数仓之上，同时增加了更多样数据源的导入存储，更多样化数据处理方式和时效，支持T+0天时效，即数据实时化。数据实时化，是指数据从产生(更新至业务数据库或日志)到最终消费(数据报表、仪表板、分析、挖掘、数据应用等)支持毫秒级/秒级/分钟级延迟(严格来说，秒级/分钟级属于准实时，这里统一称为实时)。数据实时化涉及到如何将数据实时的从数据源中抽取出来，如何实时流转接入到数据中心，如何实时落库，以及如何实时提供后续消费使用。数据实时化又称实时数据同步。实时数据同步通常是指多源到多目标的端到端同步，是实时数仓一个最重要组成部分之一。

数据同步经常涉及数据库表的元数据的使用。如本领域中所公知的，许多不同数据库的表的元数据又称之为schema，其描述了数据库表的组织和结构；例如当前流行的三种关系型数据库MySQL、SQL Server、Oracle都有自己所定义的schema。为实现实时数据同步，消息中间件(通常是分布式消息队列系统，例如现在常用的ActiveMQ、RabbitMQ、RocketMQ和Kafka如Kafka系统)通常是必需的。但是消息中间件通常都不具备元数据管理功能，更不能对元数据进行多版本管理。如果期间同步的数据发生变化，就必须停止当前的实时同步任务，重新下发任务配置，这必定影响数据的实时性，增加运维操作，还有数据丢失的风险。

已有一些现有技术来实施实时数据同步，但这些技术无法实现元数据的多版本管理，也不能支持元数据配置的热更新。

发明内容

本发明的一些实施例提供了一种用于管理数据库的元数据的方法，包括：获取源端数据库的元数据的标识和版本号；尝试获取与所述标识和版本号对应的元数据；以及如果未能成功获取对应的元数据内容，则生成所述源端数据库的元数据。

本发明的一些实施例还提供了一种用于管理数据库的元数据的方法，包括：消费消息中间件的数据；从所述数据中解析出元数据的标识和版本号；尝试获取与所述标识和版本号对应的元数据；以及如果未能获取到与所述标识和版本号对应的元数据，则从注册中心查询并获取与所述标识和版本号对应的元数据。

本发明的一些实施例还提供了一种用于数据同步的系统，包括：数据采集代理模块，用于从源端数据库采集数据；

消息中间件，用于将接收从源端数据库采集的数据；数据消费落地模块，用于从消息中间件消费数据；和注册中心，用于存储元数据并提供针对元数据的查询服务，其中所述数据采集代理模块能够根据所述源端数据库表的表结构生成元数据并将其注册到所述注册中心，其中所生成的元数据包括标识和版本号，并且其中所述数据消费落地模块能够从所消费的数据中解析出元数据的标识和版本号，并向所述注册中心查询与所解析出的标识和版本号对应的元数据。

本公开的实施例提供的技术方案能够实时数据同步过程中的业务数据的多版本管理。本公开的实施例提供的技术方案还能实现元数据配置的热更新。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。