[发明专利]一种提高大数据上并行连接性能的负载平衡方法

说明书

技术领域

本发明涉及大数据上并行负载平衡技术，具体是一种提高大数据上并行连接性能 的负载平衡方法。

背景技术

关系数据库上的连接运算是在水平方向上合并两个表，也就是将两个表中在共同 数据项上相互匹配的那些行合并起来。在关系代数中，连接运算是由一个笛卡尔积运算和 一个选取运算构成的。首先用笛卡尔积完成对两个数据集合的乘运算，然后对生成的结果 集合进行选取运算，确保只把分别来自两个数据集合并且具有重叠部分的行合并在一起。 连接的全部意义在于：在水平方向上合并两个数据集合（通常是表），并产生一个新的结果 集合，其方法是将一个数据源中的行与另一个数据源中和它匹配的行组合成一个新元组。

大数据上有迫切的连接查询需求：用户信息等静态数据保存在数据表中，点击流 日志和业务日志等数据源源不断地产生和积累。基于日志数据的分析需要合并静态数据和 动态数据进行连接，基于连接运算的结果继续进行深度分析。然而，连接操作是数据分析中 代价很高的查询操作，最原始的方法需要对两个表的所有行进行笛卡尔积运算。在关系数 据库上，针对连接运算的优化策略研究一直是研究的热点。面向当前的大数据环境，连接查 询优化更加刻不容缓。海量数据上的连接运算代价过大导致数据分析的结果明显滞后。

并行计算环境下的连接运算最常见的优化手段是并行化，将连接任务分布在集群 的各节点上，让连接运算在各节点上并行执行，然后汇总结果。其中，数据分片和任务的负 载平衡是算法的重点和难点：如何将数据分布到集群各节点上，使得对于连接任务，分布在 各节点的数据可以本地执行连接运算，而集群节点的任务又可以均衡地在各节点上执行。

对于自然连接（等值连接），典型的方法是哈希连接。连接运算有一个重要的特征， 即参加连接运算的两个数据源R和S只有在连接属性上满足相等的条件才会产生连接结果， 因此，将两个数据源R和S在连接属性上用相同的哈希函数进行分片，可以保证只有映射到 同一个节点的数据可能会产生连接结果，而映射到不同节点上的数据不会有连接结果。基 于这样的前提，哈希连接通过数据分片大大降低了分布式环境下数据连接的代价。但是，哈 希连接没有考虑负载的均衡问题，会存在各节点计算任务不平衡的现象，这会令并行连接 的性能大打折扣，连接任务的完成取决于分布式环境中最慢计算节点的任务执行完成时 间。

2006年，谷歌公司发表了MapReduce论文，提出了统一调度的并行执行处理框架。 MapReduce可以检测到集群中执行较慢的任务节点，当有节点已经执行完毕，它会被分配和 较慢的任务节点一起执行其任务。这样的调度策略可以提高并行执行计算任务的性能，是 在任务管理器检测到任务滞后时的补救措施。然而，在大数据应用场景下，数据的访问倾斜 是普遍现象，一部分数据被非常频繁地访问，而大部分数据很少被访问。MapReduce并行计 算框架目前还没有考虑基于数据的访问频率（反映数据查询中的任务负载）来调度任务，所 以任务的负载平衡总是在节点执行出现倾斜现象的时候才开始补救。

发明内容

本发明针对现有技术的不足，而提供一种提高大数据上并行连接性能的负载平衡 方法。这种方法能够降低数据管理和维护的开销，提高数据查询的响应时间，同时，能够精 确地捕获数据的访问分布规律，根据数据的访问分布规律衡量数据访问负载，实现连接查 询的查询负载的平衡和数据分布的平衡，使各节点间任务均匀负载，从而提高连接运算的 性能。

实现本发明内容的技术方案是：

一种提高大数据上并行连接性能的负载平衡方法，包括如下步骤：

1）将海量数据按照查询结果初始化划分成数据块：首先将每次查询的结果“聚集成 块”来划分数据，管理数据块的元数据记录该数据块在连接属性上的取值范围，即一个连续 范围的起止值；划分后的数据块包括连接属性上符合查询条件的多个参加连接的表数据， 数据只有等到第一次被查询命中时才会被划分成块，并以数据块的方式组织管理；

2）记录数据块的访问占比率、计算平均访问占比率、累积节点的总热度和数据总量： 当查询对数据块的访问是全部命中时，数据块的热度累加1，即100%，当查询对数据块的访 问是部分命中时，数据的热度累加一个0-1之间的值，即数据块被访问的百分比；

访问占比率=本次访问数据块中的记录条数/数据块的记录总数；

数据块的热度=；

平均访问占比率=/数据块的被访问次数；