[发明专利]一种归约函数数量确定方法、装置及系统有效
| 申请号： | 201910171361.5 | 申请日： | 2019-03-07 |
| 公开（公告）号： | CN109901931B | 公开（公告）日： | 2021-06-15 |
| 发明（设计）人： | 梁建煌 | 申请（专利权）人： | 北京奇艺世纪科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F9/46 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王宝筠 |
| 地址： | 100080 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供了一种规约函数数量确定方法、装置及系统，基于MapReduce服务器，其中，该MapReduce服务器包括将输入的文件块进行计算并输出键值对的映射函数以及对键值对进行归约计算的归约函数，该数量确定方法先获取第一预设时间周期内映射函数输出的键值对的数量。然后确定归约函数处理一个键值对的目标时间，并基于目标时间，确定出第二预设时间周期内归约函数的键值对处理数量。之后基于映射函数输出的键值对的数量以及归约函数的键值对处理数量，确定出归约函数的目标数量。可见，本方案根据映射函数输出的键值对的数量确定出归约函数的目标数量，使得资源合理分配，提高了任务处理效率，避免了由于归约函数的数量过多或过少导致的资源浪费或者卡顿等问题。 | ||
| 搜索关键词： | 一种 函数 数量 确定 方法 装置 系统 | ||
【主权项】：
1.一种规约函数数量确定方法，其特征在于，应用于MapReduce服务器，所述MapReduce服务器包括映射函数与归约函数，所述映射函数用于将输入的文件块进行计算，输出至少一个键值对，所述归约函数用于对所述键值对进行归约计算，所述规约函数数量确定方法包括：获取第一预设时间周期内所述映射函数输出的所述键值对的数量；确定所述归约函数处理一个所述键值对的目标时间；基于所述目标时间，确定出第二预设时间周期内所述归约函数的键值对处理数量；基于所述映射函数输出的键值对的数量以及所述归约函数的键值对处理数量，确定出所述归约函数的目标数量。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司，未经北京奇艺世纪科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910171361.5/，转载请声明来源钻瓜专利网。
