[发明专利]一种基于分布式SQL的开关分发与metrics采集汇总系统及方法

说明书

本发明提供一种基于分布式SQL的开关分发与metrics采集汇总系统及方法，属于分布式数据库领域，本发明包括：1)分布式SQL开关分发模块；2)分布式SQL的metrics采集汇总模块。当分布式SQL执行时，执行过程中采集的metrics分布在各个执行节点上，需对各个执行节点上的metrics进行汇总，汇总到Gateway节点。保证了分布式SQL行为数据采集的正确性，降低了Gateway节点的等待时间。

技术领域

本发明涉及分布式数据库、行为数据(metrics)采集领域，尤其涉及一种实用性强，基于分布式SQL的开关分发与metrics采集汇总系统及方法。

背景技术

随着互联网技术不断发展，数据量不断增加，集中式数据库架构使得数据库成为整个系统的瓶颈，已经越来越不适应海量数据对计算能力的巨大需求。分布式数据库，因其可以动态增加存储节点，因而可以实现“高扩展性”；因其可以在不同节点响应客户端的读/写请求，能对海量数据进行随机读/写，因而具有“高并发性”；对数据冗余备份的容错机制，保证了分布式数据库服务的“高度可用性”。为了极大的节省网络资源，并提升数据处理效率，分布式数据库引入了分布式SQL，实现了在多个节点上对SQL操作进行分布式处理。

分布式SQL的引入可以提高SQL查询性能，但存在着诸多亟待解决的问题。现有的分布式数据库metrics采集由全局参数进行控制，仅单一全局开关不能灵活控制采集数据的粒度，无法满足用户对指定应用或用户行为数据采集的需求。为灵活控制采集数据的粒度，引入多种开关进行控制，分布式执行时，需将当前SQL采集开关状态分发到各个执行节点，执行节点根据开关状态确定采集粒度。现有采集的数据指标主要集中在集群和节点检测以及日志监控上，相应地应用负载、编译执行等方面的行为数据采集不够全面，无法满足自治SQL优化项目希望基于应用负载/语句执行角度分析、理解和调优数据库的需求。

发明内容

为了解决以上技术问题，本发明提供了一种基于分布式SQL的开关分发与metrics采集汇总系统。

本发明的技术方案是：

一种基于分布式SQL的开关分发与metrics采集汇总系统，包括如下两个模块：

1)分布式SQL开关分发模块，用于在分布式SQL执行过程中，将Gateway节点的SQL采集开关状态分发到各个执行节点，执行节点同步Gateway节点的SQL采集开关状态；

2)分布式SQL的metrics采集汇总模块，用于在分布式SQL执行过程中，采集的metrics分布在各个执行节点上，需对各个执行节点上的metrics进行汇总，汇总到Gateway节点。

进一步的，

分布式SQL开关分发模块工作内容包括如下步骤：

1)通过Flow setup从Gateway节点发送到要执行的节点；

2)执行节点获取当前开关的属性，将其放到内存中；为后续执行节点采集行为数据提供判断；

3)执行节点通过gossip协议，将开关状态同步到集群中的其他节点。

其中，

在分布式SQL执行过程中，会在Gateway节点(与客户端进行交互的节点)生成SQL语句的物理计划；生成的物理计划中包含具体执行的算子数组，将各个算子串联起来的数据；分布式数据库会根据数据的分布将物理计划切分，封装成Flow结构并发送到节点上进行分布式执行。

Flow的发送是通过setupFlowRequest来进行发送，执行结束后会返回到Gateway节点。

进一步的，

分布式SQL的metrics采集汇总模块包括如下步骤：