[发明专利]在映射化简框架中处理数据

权利要求书

1.一种用于在映射化简框架中处理输入数据的计算机实现方法，所述方法包括：

在所述映射化简框架中接收对于输入数据的数据处理请求；

关于所述输入数据的尺寸，对键的数目执行尺寸评估；

基于所述尺寸评估从可用化简操作池中选择化简操作，其中所选定的化简操作被配置为接受排序的中间键/值对，其中：

所述可用化简操作中的至少一个化简操作被配置为化简已经被排序的中间键/值对；以及

所述可用化简操作中的至少另一个化简操作被配置为化简尚未被排序的中间键/值对；

基于所述数据处理请求，启动由所述映射化简框架中的多个映射器在所述输入数据上进行的映射操作，每个所述映射器使用聚合器来部分地将所述输入数据聚合成以所选定的格式存储的一个或多个中间键/值对；

启动由所述映射化简框架中的多个化简器在所述中间键/值对上进行的所选定的化简操作，每个所述化简器使用所述聚合器来将所述中间键/值对聚合成一个或多个输出值；以及

响应于所述数据处理请求而提供所述输出值。

2.根据权利要求1的计算机实现方法，其中所述映射器和所述化简器使用机器集群来实现，并且其中所述尺寸评估将一个或多个所述机器的存储器空间纳入考虑。

3.根据权利要求1的计算机实现方法，其中所述尺寸评估将所述键的数目是否比所述输入数据的尺寸小三个数量级纳入考虑。

4.根据权利要求1的计算机实现方法，其中所述映射和化简操作中的所述聚合器使用哈希表。

5.根据权利要求1的计算机实现方法，其中所述聚合器基于交换聚合函数和关联聚合函数。

6.一种用于在映射化简框架中处理输入数据的计算机实现设备，所述设备包括：

用于在所述映射化简框架中接收对于输入数据的数据处理请求的装置；

用于关于所述输入数据的尺寸，对键的数目执行尺寸评估的装置；

用于基于所述尺寸评估从可用化简操作池中选择化简操作的装置，其中所选定的化简操作被配置为接受排序的中间键/值对，其中：

所述可用化简操作中的至少一个化简操作被配置为化简已经被排序的中间键/值对；以及

所述可用化简操作中的至少另一个化简操作被配置为化简尚未被排序的中间键/值对；

用于基于所述数据处理请求，启动由所述映射化简框架中的多个映射器在所述输入数据上进行的映射操作的装置，每个所述映射器使用聚合器来部分地将所述输入数据聚合成存储的一个或多个中间键/值对；

用于启动由所述映射化简框架中的多个化简器在所述中间键/值对上进行的所选定的化简操作的装置，每个所述化简器使用所述聚合器来将所述中间键/值对聚合成一个或多个输出值；以及

用于响应于所述数据处理请求而提供所述输出值的装置。

7.根据权利要求6的设备，其中所述映射器和所述化简器使用机器集群来实现，并且其中所述尺寸评估将一个或多个所述机器的存储器空间纳入考虑。

8.根据权利要求6的设备，其中所述尺寸评估将所述键的数目是否比所述输入数据的尺寸小三个数量级纳入考虑。

9.根据权利要求6的设备，其中所述映射和化简操作中的所述聚合器使用哈希表。

10.根据权利要求6的设备，其中所述聚合器基于交换聚合函数和关联聚合函数。