[发明专利]基于Spark SQL的分布式数据库元数据同步装置及方法

说明书

本发明公开基于Spark SQL的分布式数据库元数据同步装置及方法，涉及分布式数据库技术领域；基于Gossip的网络，构建集群节点，其中将分布式数据库集群的Cockroach节点作为内部节点，将Spark SQL的Driver节点作为外部节点，通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息，并同步用户数据库和数据表的元数据信息至SparkSQL数据仓库。

技术领域

本发明公开装置及方法，涉及分布式数据库技术领域，具体地说是基于Spark SQL的分布式数据库元数据同步装置及方法。

背景技术

分布式数据库CockroachDB是NewSQL分布式事务数据库。具有对海量数据的存储管理能力，并且支持传统数据库的ACID和SQL标准查询语言，还具有高可用、高并发、可扩展等分布式特性。

分布式数据库总体架构上分为SQL层、事务层、分发层、副本层以及存储层，SQL层将客户端的SQL语句翻译解析为键值对(KV)操作，事务层保证多个键值对操作之间的原子性，分发层负责将键值的范围分发到指定的节点上，副本层保证节点之间的复制键值范围的一致性，存储层负责读写存储设备上的键值数据。

分布式数据集群的节点之间的元数据信息通信是基于Gossip协议实现。集群中每个节点都是全对等的关系，通过构建的Gossip网络同步前述的数据库系统中的元数据。

虽然分布式数据库提供了出色的联机事务处理能力，但对于联机分析能力方面稍有欠缺。Spark SQL在联机分析方面性能表现优异，因此使用Spark SQL在线分析分布式数据库中的数据可充分拓展它的生态，但在分布式数据库和Spark SQL数据仓库之间还没有完善的方法使用户的数据表元数据能够实时同步。

发明内容

本发明针对现有技术的问题，提供基于Spark SQL的分布式数据库元数据同步装置及方法，目的在分布式数据库和Spark SQL数据仓库之间提供一种将用户的数据表元数据实时同步的方法。进而将分布式数据库中的数据表封装到SparkGossipServer中，用户可以通过网络连接到该服务端进行在线联机分析查询。

本发明提出的具体方案是：

基于Spark SQL的分布式数据库元数据同步方法，基于Gossip的网络，构建集群节点，其中将分布式数据库集群的Cockroach节点作为内部节点，将Spark SQL的Driver节点作为外部节点，

通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息，并同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。

进一步，所述的基于Spark SQL的分布式数据库元数据同步方法中通过外部节点接收Gossip消息，对Gossip消息进行分类，并过滤获得与用户数据库和数据表相关的元数据事件。

进一步，所述的基于Spark SQL的分布式数据库元数据同步方法中通过外部节点的请求观察器与响应观察器根据Gossip消息的key对Gossip消息进行分类，过滤出与用户数据库和数据表相关的元数据事件。

进一步，所述的基于Spark SQL的分布式数据库元数据同步方法中根据元数据事件中用户数据库和数据表的元数据信息，通过Gossip组件实现元数据事件处理器接口，通过元数据事件处理器接口同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。

同时本发明提供基于Spark SQL的分布式数据库元数据同步系统，包括内部节点管理模块，外部节点管理模块，

基于Gossip的网络，构建集群节点，其中内部节点管理模块将分布式数据库集群的Cockroach节点作为内部节点，外部节点管理模块将Spark SQL的Driver节点作为外部节点，