[发明专利]一种基于分布式数据库的sql语句处理方法

摘要

本发明涉及一种基于分布式数据库的sql语句处理方法，属于线上数据处理和后期数据处理的存储和计算技术领域。该方法基于分布式数据库，表是存储在多个数据库节点中，输入sql语句，包含增、删、改和查的操作，输出是sql执行的结果。本方法应用于线上数据处理的插入，更新，删除和查询；特别是应用于大数据量的情况下跨节点连接，夸节点子查询等复杂逻辑。

主权项

1.一种基于分布式数据库的sql语句处理方法，其特征在于，包括客户端、主控机、元数据库节点和数据库节点：所述客户端，负责提交sql，从主控机获取元数据，进行sql分析，安排执行，并接受执行结果；所述主控机，负责管理和监控客户端、元数据库节点和数据库节点；所述元数据库节点，负责存储表的结构信息和数据分布信息，作为生成执行计划的依据；所述数据库节点，负责存储数据的节点，也负责执行本节点上的sql语句；该方法基于分布式数据库，表是存储在多个数据库节点中，输入sql语句，包含增、删、改和查的操作，输出是sql执行的结果；所述的查的操作如下：将输入的sql语句经过语义分析，结合表的结构信息和数据分布信息，生成包含多个阶段的执行计划；阶段之间具有依赖关系，形成一棵多输入单输出的树形结构；所述的执行计划的每个阶段包括三个操作：map、shuffle和reduce；map执行mapsql，需要执行map的数据库节点称为map节点；shuffle执行洗牌，将map的输出中洗牌字段相同的数据放到同一个reduce中；reduce执行reducesql,需要执行reduce的数据库节点称为reduce节点；同一个阶段中，多个reduce节点是有关系的，具体而言：当查操作包含排序和聚合操作，reduce节点具有大小关系，排序和聚合字段小的reduce节点小，这样每个reduce节点执行完成之后，依据reduce节点的大小关系，就可以得到整体的结果；当查操作包含非等值join，reduce节点具有大小关系，排序字段小的reduce节点小，reduce节点之间需要进行join，不同reduce节点之间的大小关系决定了join结果是否是匹配的，相同的reduce节点之间需要执行同样的sql来返回匹配的结果；当查操作包含表达式计算的等值join，map节点的输出数据中可以依据join表达式添加辅助字段，把辅助字段作为洗牌字段进行shuffle操作，这样每个reduce节点执行完成之后，就完成了包含表达式计算的等值join；不包含排序和聚合的单表操作，不包含表达式计算的等值join，reduce节点之间可以没有关系。