[发明专利]一种基于map/reduce的实时响应方法及系统有效
申请号: | 201510923573.6 | 申请日: | 2015-12-14 |
公开(公告)号: | CN105550305B | 公开(公告)日: | 2019-11-22 |
发明(设计)人: | 余海涛 | 申请(专利权)人: | 北京锐安科技有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F9/50 |
代理公司: | 11332 北京品源专利代理有限公司 | 代理人: | 胡彬;孟金喆<国际申请>=<国际公布>= |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 map reduce 实时 响应 方法 系统 | ||
1.一种基于map/reduce的实时响应方法,其特征在于,包括:
主控模块初始化并启动map/reduce运算后,所述主控模块接收服务请求模块发送的服务请求消息;
所述主控模块将所述服务请求消息分配给空闲mapper模块;
所述空闲mapper模块接收所述服务请求消息,判断所述服务请求消息是否为终止服务的消息,若否,则处理服务请求,并将处理结果作为服务响应消息返回给主控模块后,等待响应下一个服务请求消息。
2.根据权利要求1所述的方法,其特征在于,还包括:
若判断所述服务请求消息为终止服务的消息,则所述空闲mapper模块终止等待响应服务请求消息的操作。
3.根据权利要求1所述的方法,其特征在于,在主控模块初始化并启动map/reduce运算之前,还包括:
所述主控模块为每个mapper模块进行编号;
相应地,所述主控模块将所述服务请求消息分配给空闲mapper模块,包括:
所述主控模块获取所有空闲mapper模块的编号,并选择其中一个空闲mapper模块的编号;
所述主控模块将所述服务请求消息发送给所选择的空闲mapper模块的编号对应的空闲mapper模块。
4.根据权利要求3所述的方法,其特征在于,所述主控模块为每个mapper模块进行编号包括:
所述主控模块获取预先创建的一个多行且每行有一个数字的文本文件;
所述主控模块向每个mapper模块发送所述文本文件的一行文本,以使每个mapper模块得到不同的文本化的数字,并将所述数字作为mapper模块的编号。
5.根据权利要求1所述的方法,其特征在于,在所述空闲mapper模块处理服务请求之前,还包括:
等待时间设置模块将hadoop系统接收mapper模块进度报告的等待时间设为0,以防止所述空闲mapper模块被hadoop系统强行终止。
6.一种基于map/reduce的实时响应系统,其特征在于,包括服务请求模块、主控模块和mapper模块;
所述服务请求模块包括服务请求消息发送单元,用于向所述主控模块发送服务请求消息;以及服务响应消息接收单元,用于接收所述主控模块转发的服务响应消息;
所述主控模块包括map/reduce启动单元,用于初始化并启动map/reduce运算;服务请求消息第一接收单元,用于接收所述服务请求模块发送的服务请求消息;服务请求消息分配单元,用于将所述服务请求消息分配给空闲mapper模块;以及服务响应消息转发单元,用于接收空闲mapper模块返回的服务响应消息,并将所述服务响应消息转发给所述服务请求模块;
所述mapper模块包括服务请求消息第二接收单元,用于接收主控模块分配的服务请求消息;服务请求消息判断单元,用于判断所述服务请求消息是否为终止服务的消息;服务响应消息返回单元,用于若判断所述服务请求消息不为终止服务的消息,则处理服务请求,并将处理结果作为服务响应消息返回给主控模块;以及服务请求消息等待单元,用于在将所述服务响应消息返回给主控模块之后,等待响应下一个服务请求消息。
7.根据权利要求6所述的系统,其特征在于,所述mapper模块还包括:
响应终止单元,用于若判断所述服务请求消息为终止服务的消息,则终止所述空闲mapper模块等待响应服务请求消息的操作。
8.根据权利要求6所述的系统,其特征在于,所述主控模块还包括:
mapper模块编号单元,用于在主控模块初始化并启动map/reduce运算之前,为每个mapper模块进行编号;
相应地,所述服务请求消息分配单元具体用于:
获取所有空闲mapper模块的编号,并选择其中一个空闲mapper模块的编号;
将所述服务请求消息发送给所选择的空闲mapper模块的编号对应的空闲mapper模块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司,未经北京锐安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510923573.6/1.html,转载请声明来源钻瓜专利网。