[发明专利]一种基于MapReduce的Map端数据的聚合方法

摘要

本发明提供的是一种基于MapReduce的Map端数据的聚合方法。包括测试阶段和聚合阶段。测试阶段，通过测试阶段来验证所使用Map端的Map函数中的算法是否适合进行内聚合。内聚合方法是在内存中Map函数的计算过程中进行的，计算完一部分后就进行聚合；外聚合方法是在Map函数将所有数据计算完存入磁盘后，再调入内存进行聚合。聚合阶段，若测试通过，使用内聚合方法对Map端计算后的数据进行聚合；若测试未通过，使用外聚合方法对Map端计算的后的数据进行聚合。本发明根据数据的特点，保证计算结果正确的前提下，选择相应的聚合方式，在减少I/O的访问次数的同时，减少传输的通信量。

主权项

1.一种基于MapReduce的Map端数据的聚合方法，其特征是：(1)分别通过外聚合和内聚合计算出相应的结果；(2)比较两个结果是否相同；(3)若相同则进行内聚合，若不相同则进行外聚合；所述内聚合具体包括：(3.1.1)建立<Key,Value>倒排索引：根据读入的<Key,Value>中Key值建立倒排索引，在索引中记录<Key,Address>,Address为<Key,Value>在内存中的地址值；(3.1.2)对Address建立指向Count的索引，对Address建立匹配次数Count的索引，进行匹配，将匹配成功的<Key,Value>进行合并；(3.1.3)在进行下次匹配之前，查看内存是否足够，如果内存不足够，将内存中Count值小的部分<Key,Value>写回磁盘；如果内存足够查看是否还有未计算的<Key,Value>，如果有未计算的<Key,Value>，将未计算的<Key,Value>调入内存进行计算并返回(3.1.1)继续执行；如果没有未计算的<Key,Value>则结束；所述外聚合具体包括：(3.2.1)将<Key,Value>调入内存进行计算，将计算结果写入磁盘，记为S_<Key,Value>；(3.2.2)将磁盘中的S_<Key,Value>重新调回内存，执行内聚合的操作。