[发明专利]一种提高大数据上并行连接性能的负载平衡方法

摘要

本发明公开了一种提高大数据上并行连接性能的负载平衡方法，包括以下步骤：1）将海量数据按照查询结果初始化划分成数据块；划分后的数据块包括连接属性上符合查询条件的多个参加连接的表数据，并以数据块的方式组织管理；2）记录数据块的访问比率、累积数据块的热度、计算平均访问占比率；3）根据数据块的平均访问占比率对数据块的划分进行自适应调整，根据查询请求的拟合程度来触发数据块的合并、分裂；4）将热数据均匀地分布到集群各节点上，按照热度做查询任务的负载平衡；5）连接查询请求在集群各节点上执行，汇总连接结果并返回客户端。这种方法提高了数据查询的时间效率，实现了连接查询负载的平衡，提高了连接运算的性能。

主权项

一种提高大数据上并行连接性能的负载平衡方法，包括如下步骤：将海量数据按照查询结果初始化划分成数据块：首先将每次查询的结果“聚集成块”来划分数据，管理数据块的元数据记录该数据块在连接属性上的取值范围，即一个连续范围的起止值；划分后的数据块包括连接属性上符合查询条件的多个参加连接的表数据，数据只有等到第一次被查询到时才会被划分成块，并以数据块的方式组织管理；记录数据块的访问比率、累积数据块的热度、计算平均访问占比率：当查询对数据块的访问是全部命中时，数据块的热度累加1，当查询对数据块的访问是部分命中时，数据的热度累加一个0‑1之间的值，即数据块被访问的百分比；访问占比率 = 本次访问数据块中的记录条数 / 数据块的记录总数；数据块的热度 =；平均访问占比率 =/ 数据块的被访问次数；根据数据块的平均访问占比率对数据块的划分进行自适应调整：每次数据访问都需要记录被访问数据块的访问占比率，以此来衡量数据划分和查询请求的拟合程度，根据查询请求的拟合程度来触发数据块的合并、分裂；将数据均匀地分布到集群各节点上，使得各个节点上分布的数据热度总和及存储空间总和保持基本平衡，按照热度做查询任务的负载平衡；任务被均衡地分布到集群各节点，连接查询请求在集群各节点上执行，最后汇总连接结果并返回客户端。