[发明专利]一种数据连接优化方法和数据运算系统

摘要

本发明实施例提供一种数据连接优化方法和数据运算系统，涉及通信领域，能够解决现有的提高数据连连接效率的连接方法存在的使用范围局限的问题。该方法将数据连接操作划分为两个MapReduce阶段，第一阶段对连接元素的取值进行统计，确定连接元素所属的频繁取值集合，第二阶段的Map在计算节点的内存中载入查询向量以及连接元素的频繁取值集合之间的交集运算，确定数据库中的某个记录是否需要引起连接操作，这样不需要引起连接操作的元素的键值对就不需要发送至Reduce节点。本发明实施例用于面向MapReduce的数据连接优化。

主权项

1.一种数据连接优化方法，其特征在于，包括：m1个第一Map节点分别统计中心节点对数据库分配的第一数据块中来源于同一数据库的同一连接元素对应的记录，以获取统计结果，并将所述统计结果发送至所述中心节点，使得所述中心节点将所述统计结果发送至n1个第一Reduce节点，其中同一连接元素的统计结果发送至同一第一Reduce节点；所述n1个第一Reduce节点分别根据所述统计结果获取各自的Reduce节点中来源于同一数据库的连接元素对应的记录的记录总数，根据所述记录总数与预设的阈值确定所述连接元素所属的第一集合，并将所述第一集合发送至所述中心节点，所述第一集合用于表征所述连接元素的频繁取值情况；所述中心节点对所述第一集合中的连接元素重新排序，得到相应的第二集合，并对所述第二集合中的连接元素执行向量插入操作，获取所述第二集合对应的查询向量；所述中心节点重新将所述数据库分配给m2个第二Map节点，并将所述第一集合和所述查询向量发送给所述m2个第二Map节点；所述m2个第二Map节点分别根据分配的第二数据块中的记录和所述查询向量确定所述记录中的连接元素所属的第一集合，并根据所述第一集合之间针对所述连接元素的交集运算确定是否对所述连接元素进行连接操作。