[发明专利]一种基于map/reduce的实时响应方法及系统

说明书

本发明公开了一种基于map/reduce的实时响应方法及系统，其中，方法包括：主控模块初始化并启动map/reduce运算后，所述主控模块接收服务请求模块发送的服务请求消息；所述主控模块将所述服务请求消息分配给空闲mapper模块；所述空闲mapper模块接收所述服务请求消息，判断所述服务请求消息是否为终止服务的消息，若否，则处理服务请求，并将处理结果作为服务响应消息返回给主控模块后，等待响应下一个服务请求消息。本发明解决了现有的map/reduce程序在用于需要快速响应、处理大量小数据任务的工作时效率较低的问题，提高了数据处理效率。

技术领域

本发明涉及数据处理技术，尤其涉及一种基于map/reduce的实时响应方法及系统。

背景技术

并行计算模型map/reduce出现前，在java编程领域，利用多台计算机并行处理数据，让这些计算机之间进行协作非常困难，导致无法在海量数据之间建立关联。

map/reduce模型提供了对海量数据的处理方法，它的原理是把一个计算机局域网内的多台只具有普通计算能力的计算机统一管理起来，使得它们能够并行处理海量数据，并在处理数据的过程之中，进行分工协作完成一些业务逻辑的计算，以此实现在海量数据之间建立关联或者进行统计分析。

map/reduce程序主要分成3个模块：主控模块，mapper模块和reduce模块。其中，主控模块负责初始化，mapper模块和reduce模块负责进行业务逻辑计算和处理。

一旦map/reduce运算启动，服务请求模块便将提交到hadoop平台的服务请求消息发送给主控模块，主控模块将服务请求消息分发到mapper模块进行处理，mapper模块处理完毕后通知主控模块，并退出该次map/reduce运算，主控模块可以再次启动下一个map/reduce运算或者进行其他处理。

map/reduce模型可以调动群集内所有的计算机进行并行计算和协作处理数据，它的强大是显而易见的。但是，在一般应用场景中，map/reduce也有它的不足，例如，map/reduce每次启动运行的时间都需要30到50秒，如果每次启动后，map/reduce都只执行很少的时间，map/reduce的效率就很低。因此，现有的map/reduce程序在用于需要快速响应、处理大量小数据任务的工作时，效率较低。

发明内容

有鉴于此，本发明的目的是提出一种基于map/reduce的实时响应方法及系统，以解决现有的map/reduce程序在用于需要快速响应、处理大量小数据任务的工作时效率较低的问题，提高数据处理效率。

为实现上述目的，本发明采用如下技术方案：

一方面，本发明实施例提供了一种基于map/reduce的实时响应方法，包括：

主控模块初始化并启动map/reduce运算后，所述主控模块接收服务请求模块发送的服务请求消息；

所述主控模块将所述服务请求消息分配给空闲mapper模块；

所述空闲mapper模块接收所述服务请求消息，判断所述服务请求消息是否为终止服务的消息，若否，则处理服务请求，并将处理结果作为服务响应消息返回给主控模块后，等待响应下一个服务请求消息。

进一步地，还包括：

若判断所述服务请求消息为终止服务的消息，则所述空闲mapper模块终止等待响应服务请求消息的操作。

进一步地，在主控模块初始化并启动map/reduce运算之前，还包括：

所述主控模块为每个mapper模块进行编号；

相应地，所述主控模块将所述服务请求消息分配给空闲mapper模块，包括：