[发明专利]一种归约函数数量确定方法、装置及系统

权利要求书

1.一种归约函数数量确定方法，其特征在于，应用于MapReduce服务器，所述MapReduce服务器包括映射函数与归约函数，所述映射函数用于将输入的文件块进行计算，输出至少一个键值对，所述归约函数用于对所述键值对进行归约计算，所述归约函数数量确定方法包括：

获取第一预设时间周期内所述映射函数输出的所述键值对的数量；

确定所述归约函数处理一个所述键值对的目标时间；

基于所述目标时间，确定出第二预设时间周期内所述归约函数的键值对处理数量；

基于所述映射函数输出的键值对的数量以及所述归约函数的键值对处理数量，确定出所述归约函数的目标数量。

2.根据权利要求1所述的归约函数数量确定方法，其特征在于，所述获取第一预设时间周期内所述映射函数输出的键值对的数量，包括：

获取第三预设时间周期内，输入所述映射函数的所述文件块的数量以及所述映射函数输出的所述键值对的数量；

基于输入所述映射函数的文件块的数量以及所述映射函数输出的所述键值对的数量，确定出所述映射函数的输入输出比值；

获取所述第一预设时间周期内输入所述映射函数的文件块的数量；

确定所述第一预设时间周期内输入所述映射函数的文件块的数量与所述映射函数的输入输出比值的乘积为第一预设时间周期内所述映射函数输出的键值对的数量。

3.根据权利要求1所述的归约函数数量确定方法，其特征在于，所述确定所述归约函数处理一个所述键值对的目标时间，包括：

获取所述键值对的属性标识；

当所述属性标识为第一类属性标识时，获取第四预设时间周期内所述键值对的历史处理时间，确定所述历史处理时间的平均值为一个所述键值对的目标时间；

当所述属性标识为第二类属性标识时，将所述键值对拆分成多个子数据，并获取每个归约函数处理每条所述子数据的处理时间，确定所述处理时间之和为所述归约函数处理一个所述键值对的目标时间。

4.根据权利要求1-3任一项所述的归约函数数量确定方法，其特征在于，所述基于所述目标时间，确定出第二预设时间周期内所述归约函数的键值对处理数量，包括：

确定所述第二预设时间周期与所述目标时间的商为所述第二预设时间周期内所述归约函数的键值对处理数量。

5.根据权利要求1-3任一项所述的归约函数数量确定方法，其特征在于，所述基于所述映射函数输出的键值对的数量以及所述归约函数的键值对处理数量，确定出所述归约函数的目标数量，包括：

确定所述映射函数输出的键值对的数量与所述归约函数的键值对处理数量的商为所述归约函数的目标数量。

6.一种归约函数数量确定装置，其特征在于，应用于MapReduce服务器，所述MapReduce服务器包括映射函数与归约函数，所述映射函数用于将输入的文件块进行计算，输出至少一个键值对，所述归约函数用于对所述键值对进行归约计算，所述归约函数数量确定装置包括：

获取模块，用于获取第一预设时间周期内所述映射函数输出的所述键值对的数量；

第一确定模块，用于确定所述归约函数处理一个所述键值对的目标时间；

第二确定模块，用于基于所述目标时间，确定出第二预设时间周期内所述归约函数的键值对处理数量；

第三确定模块，用于基于所述映射函数输出的键值对的数量以及所述归约函数的键值对处理数量，确定出所述归约函数的目标数量。

7.根据权利要求6所述的归约函数数量确定装置，其特征在于，所述获取模块包括：

第一获取单元，用于获取第三预设时间周期内，输入所述映射函数的所述文件块的数量以及所述映射函数输出的所述键值对的数量；

第一确定单元，用于基于输入所述映射函数的文件块的数量以及所述映射函数输出的所述键值对的数量，确定出所述映射函数的输入输出比值；

第二获取单元，用于获取所述第一预设时间周期内输入所述映射函数的文件块的数量；

第二确定单元，用于确定所述第一预设时间周期内输入所述映射函数的文件块的数量与所述映射函数的输入输出比值的乘积为第一预设时间周期内所述映射函数输出的键值对的数量。