[发明专利]在映射化简框架中处理数据

说明书

本发明公开一种用于在映射化简框架中处理输入数据的计算机实现方法，包括：在所述映射化简框架中接收对于输入数据的数据处理请求；基于所述数据处理请求，启动由所述映射化简框架中的多个映射器在所述输入数据上进行的映射操作，每个所述映射器使用聚合器来部分地将所述输入数据聚合成一个或多个中间键/值对；启动由所述映射化简框架中的多个化简器在所述中间键/值对上进行的化简操作，其中，在不排序所述中间键/值对的情况下，由所述化简器中相同的一个化简器来处理所述中间键/值对中具有共同键的那些中间键/值对，每个所述化简器使用所述聚合器来将所述中间键/值对聚合成一个或多个输出值；以及响应于所述数据处理请求而提供所述输出值。

相关申请的交叉引用

本申请要求于2011年4月1日提交的，标题为“PROCESSING DATA IN A MAPREDUCEFRAMEWORK”的美国专利申请序号No.13/078,500的优先权，该申请的公开内容通过引用并入于此。

技术领域

本文涉及映射化简（mapreduce）框架中的数据处理。

背景技术

映射化简模型由Google Inc.开发作为一种简化大规模数据处理的方式。映射化简过程的实现是根据映射化简模型而完成的。

发明内容

在第一方面，一种用于在映射化简框架中处理输入数据的计算机实现方法包括：在映射化简框架中接收对于输入数据的数据处理请求；基于该数据处理请求，启动由映射化简框架中的多个映射器在输入数据上进行的映射操作，每个映射器使用聚合器来部分地将输入数据聚合成一个或多个中间键/值对；启动由映射化简框架中的多个化简器在中间键/值对上进行的化简操作，其中，在不排序中间键/值对的情况下，由所述化简器中相同的一个化简器来处理所述中间键/值对中具有共同键的那些中间键/值对，每个化简器使用聚合器来将中间键/值对聚合成一个或多个输出值；以及响应于数据处理请求而提供输出值。

在第二方面，一种有形地体现在计算机可读存储设备中的计算机程序产品包括当由处理器执行时执行用于在映射化简框架中处理输入数据的方法的指令。该方法包括：在映射化简框架中接收对于输入数据的数据处理请求；基于该数据处理请求，启动由映射化简框架中的多个映射器在输入数据上进行的映射操作，每个映射器使用聚合器来部分地将输入数据聚合成一个或多个中间键/值对；启动由映射化简框架中的多个化简器在中间键/值对上进行的化简操作，其中，在不排序中间键/值对的情况下，由所述化简器中相同的一个化简器来处理所述中间键/值对中具有共同键的那些中间键/值对，每个化简器使用聚合器来将中间键/值对聚合成一个或多个输出值；以及响应于数据处理请求而提供输出值。

在第三方面，一种系统包括：至少一个处理器；以及至少一个计算机可读存储设备，其包括当被执行时致使用于在映射化简框架中处理输入数据的方法的执行的指令。该方法包括：在映射化简框架中接收对于输入数据的数据处理请求；基于该数据处理请求，启动由映射化简框架中的多个映射器在输入数据上进行的映射操作，每个映射器使用聚合器来部分地将输入数据聚合成一个或多个中间键/值对；启动由映射化简框架中的多个化简器在中间键/值对上进行的化简操作，其中，在不排序中间键/值对的情况下，由所述化简器中相同的一个化简器来处理所述中间键/值对中具有共同键的那些中间键/值对，每个化简器使用聚合器来将中间键/值对聚合成一个或多个输出值；以及响应于数据处理请求而提供输出值。

实现可以包括以下特征中的任何或所有特征。所述数据处理请求标识所述输入数据中的键的数目，并且所述方法还包括执行所标识的键的数目关于输入数据尺寸的尺寸评估，其中基于尺寸评估来选择启动使用聚合器的映射操作和化简操作。映射器和化简器使用机器集群来实现，其中尺寸评估将一个或多个机器的存储器空间纳入考虑。尺寸评估将所标识的键的数目是否比输入数据的尺寸小三个数量级纳入考虑。映射操作和化简操作中的聚合器使用哈希表。聚合器基于交换聚合函数和关联聚合函数。