[发明专利]一种分布式数据库系统元数据的处理方法及系统

说明书

本发明公开一种分布式数据库系统元数据的处理方法及系统，涉及分布式数据库系统技术领域；数据节点与中心节点建立grpc连接，数据节点发送请求到中心节点，如果是读请求，将一次性使用的元数据直接从中心节点获取；如果是定期需要的元数据，向中心节点发送定期推送请求，如果是影响数据库业务执行效率的元数据，向中心节点发送变更推送请求，通过中心节点接收数据节点的相应请求：判断请求的元数据类型，如果是读请求，直接返回请求的元数据；如果是定期推送请求或者变更推送请求，先将请求按元数据进行归并，再返回请求的元数据；如果是写请求，将请求同步到整个中心节点集群，再更新元数据，根据元数据对应的请求，将元数据推送到数据节点。

技术领域

本发明公开一种方法及系统，涉及分布式数据库系统技术领域，具体地说是一种分布式数据库系统元数据的处理方法及系统。

背景技术

随着信息技术的发展，在集中式数据库的基础上出现了分布式数据库，一个分布式数据库在逻辑上是统一的整体，在物理上则是分别存储在不同的物理节点上，是计算机技术和网络技术结合的产物，拥有高可用，易扩展，体系结构灵活的优势，缺点主要是节点之间的网络数据通信使系统开销大。而元数据是指关于数据的组织及其关系的信息，简言之，元数据就是关于数据的数据。在分布式数据库系统中元数据包括：集群配置信息、数据存储位置、表信息、节点存活状态、节点信息、存储信息、缓存等。其中数据存储位置等重要的元数据用于数据库分布式执行计划，需要第一时间同步到所有节点，保证数据库业务的执行速度。

在现有的有中心节点的分布式系统中，元数据的变化由中心节点集群负责。当中心节点中的元数据发生变化后，数据节点都需要从中心节点拉取最新的元数据，导致数据节点大量访问中心节点，给中心节点造成的压力随之增大，影响数据库业务执行效率，严重时引发雪崩现象，导致中心节点丢失数据节点心跳活性检测信息，而被认为数据节点宕机，进而更改元数据，再次引发雪崩现象。从而限制了数据库集群规模上限。

除此之外，通过累积一段时间元数据再一起执行的方法虽然降低了中心节点压力，适用于普通分布式系统，但是无法保证重要元数据的同步速度。在分布式数据库系统中，如果元数据变更后同步不及时，执行计划选择错误的节点执行操作，容易导致数据库业务执行失败，或者获取到过时的信息，导致不断进行重试，影响数据库业务的执行速度。

发明内容

本发明针对现有技术的问题，提供一种分布式数据库系统元数据的处理方法及系统，克服上述问题或者至少在特定的范围之内解决上述问题的元数据处理方法，在中心节点服务器性能不变的情况下，提高分布式数据库集群规模上限。

本发明提出的具体方案是：

一种分布式数据库系统元数据的处理方法，数据节点与中心节点建立双向grpc连接，

数据节点发送相应请求到中心节点并判断自身需要的元数据类型：如果是读请求，将一次性使用的元数据直接从中心节点获取；如果是定期需要的元数据，向中心节点发送定期推送请求，如果是影响数据库业务执行效率的元数据，向中心节点发送变更推送请求，

通过中心节点接收数据节点的相应请求：判断请求的元数据类型，如果是读请求，直接返回请求的元数据；如果是定期推送请求或者变更推送请求，先将请求按元数据进行归并，再返回请求的元数据；

如果是写请求，将请求同步到整个中心节点集群，再更新元数据，根据元数据对应的请求，将元数据推送到相应的数据节点。

进一步，所述的一种分布式数据库系统元数据的处理方法中通过中心节点定期获取需要定期推送请求，获取元数据推送到相应的数据节点。

进一步，所述的一种分布式数据库系统元数据的处理方法中通过中心节点集群中主中心节点将写请求的操作写入日志并同步日志到整个中心节点集群。

进一步，所述的一种分布式数据库系统元数据的处理方法中中心节点集群中各中心节点通过选举机制选举主中心节点。