[发明专利]基于Spark SQL的分布式数据库元数据同步装置及方法

权利要求书

1.基于Spark SQL的分布式数据库元数据同步方法，其特征是基于Gossip的网络，构建集群节点，其中将分布式数据库集群的Cockroach节点作为内部节点，将Spark SQL的Driver节点作为外部节点，

通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息，并同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。

2.根据权利要求1所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是通过外部节点接收Gossip消息，对Gossip消息进行分类，并过滤获得与用户数据库和数据表相关的元数据事件。

3.根据权利要求2所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是通过外部节点的请求观察器与响应观察器根据Gossip消息的key对Gossip消息进行分类，过滤出与用户数据库和数据表相关的元数据事件。

4.根据权利要求1-3任一项所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是根据元数据事件中用户数据库和数据表的元数据信息，通过Gossip组件实现元数据事件处理器接口，通过元数据事件处理器接口同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。

5.基于Spark SQL的分布式数据库元数据同步系统，其特征是包括内部节点管理模块，外部节点管理模块，

基于Gossip的网络，构建集群节点，其中内部节点管理模块将分布式数据库集群的Cockroach节点作为内部节点，外部节点管理模块将Spark SQL的Driver节点作为外部节点，

外部节点管理模块通过外部节点接收内部节点的元数据事件中用户数据库和数据表的元数据信息，并同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。

6.根据权利要求5所述的基于Spark SQL的分布式数据库元数据同步系统，其特征是外部节点管理模块通过外部节点接收Gossip消息，对Gossip消息进行分类，并过滤获得与用户数据库和数据表相关的元数据事件。

7.根据权利要求6所述的基于Spark SQL的分布式数据库元数据同步方法，其特征是外部节点管理模块通过外部节点的请求观察器与响应观察器根据Gossip消息的key对Gossip消息进行分类，过滤出与用户数据库和数据表相关的元数据事件。

8.根据权利要求5-8任一项所述的基于Spark SQL的分布式数据库元数据同步系统，其特征是外部节点管理模块根据元数据事件中用户数据库和数据表的元数据信息，通过Gossip组件实现元数据事件处理器接口，通过元数据事件处理器接口同步用户数据库和数据表的元数据信息至Spark SQL数据仓库。

9.基于Spark SQL的分布式数据库元数据同步装置，其特征是包括至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一项所述的基于Spark SQL的分布式数据库元数据同步方法。

10.计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4中任一项所述的基于Spark SQL的分布式数据库元数据同步方法。