[发明专利]一种数据连接优化方法和数据运算系统

说明书

本发明实施例提供一种数据连接优化方法和数据运算系统，涉及通信领域，能够解决现有的提高数据连连接效率的连接方法存在的使用范围局限的问题。该方法将数据连接操作划分为两个MapReduce阶段，第一阶段对连接元素的取值进行统计，确定连接元素所属的频繁取值集合，第二阶段的Map在计算节点的内存中载入查询向量以及连接元素的频繁取值集合之间的交集运算，确定数据库中的某个记录是否需要引起连接操作，这样不需要引起连接操作的元素的键值对就不需要发送至Reduce节点。本发明实施例用于面向MapReduce的数据连接优化。

技术领域

本发明涉及通信领域，尤其涉及一种数据连接优化方法和数据运算系统。

背景技术

在数据处理中，数据的连接操作是非常常见且耗时的。例如有两个数据库R和S，R包含数据条目A和B，记为R(A，B)，S包含数据条目B和C，记为S(B，C)。表示R和S之间的连接操作，连接条件是R.B＝S.B。MapReduce是当下大数据处理技术中的主流编程模型，将数据处理任务抽象为map任务和reduce任务，在map阶段完成对数据的过滤处理，在reduce阶段完成为数据的聚集处理。

在该MapReduce编程模型中，最简单的等值连接操作为reduce side join，其中，在reduce side join中，R和S的所有元素都得传输给reduce，这对于网络资源的消耗较大，但是，有些数据是可以不用传输的，例如对于R.B中某一个取值，若该值在S.B中不出现时是不需要传输给reduce的，为了优化MapReduce中连接的效率，业界引入了map side join、Semi join等连接优化方法。

其中，在map side join这种连接方法中，可以选择R和S中较小的一个表，假设为R，再将R复制多份，让每个map节点的内存中存在一份，然后只扫描大表S，这样对于S中的每一条记录，在哈希表中查找是否有相同的key记录如果有，则连接后输出即可，但是这种连接方法只适用于两个待连接表中一个表非常大，另一个表非常小，以至于小表可以直接存放到内存中，但是当两个表都非常大时，就会撑爆map节点的内存，使用范围局限；在Semijoin连接方法中，也是选取一个小表，假设为R，先将R.B抽取出来，保存到文件T中，并将文件T存放至内存中，在map阶段，将T复制到各个map节点上，然后检查S.B的每个取值，若其值不在T中，则将S中对应的记录过滤掉，其余的记录采用与map side join相同的操作，这样也会存在map side join中使用范围局限的问题。

发明内容

本发明实施例提供一种数据连接优化方法和数据运算系统，能够解决现有的提高数据连接效率的连接方法存在的使用范围局限的问题。

第一方面，提供一种数据连接优化方法，包括：

m₁个第一Map节点分别统计中心节点对数据库分配的第一数据块中来源于同一数据库的同一连接元素对应的记录，以获取统计结果，并将所述统计结果发送至所述中心节点，使得所述中心节点将所述统计结果发送至n₁个第一Reduce节点，其中同一连接元素的统计结果发送至同一第一Reduce节点；

所述n₁个第一Reduce节点分别根据所述统计结果获取各自的Reduce节点中来源于同一数据库的连接元素对应的记录的记录总数，根据所述记录总数与预设的阈值确定所述连接元素所属的第一集合，并将所述第一集合发送至所述中心节点，所述第一集合用于表征所述连接元素的频繁取值情况；

所述中心节点对所述第一集合中的连接元素重新排序，得到相应的第二集合，并对所述第二集合中的连接元素执行向量插入操作，获取所述第二集合对应的查询向量；

所述中心节点重新将所述数据库分配给m₂个第二Map节点，并将所述第一集合和所述查询向量发送给所述m₂个第二Map节点；