[发明专利]读取RabbitMQ数据的方法及装置

说明书

本发明涉及大数据技术领域，公开了一种基于Spark Streaming读取RabbitMQ数据的方法及装置，用于实现Spark Streaming从RabbitMQ数据读取数据进行处理，使Spark Streaming接收到的数据流更加稳定和准确，并且避免了Spark Streaming停止运行后数据的丢失。所述方法包括：通过RabbitMQ的接收器Receiver读取所述RabbitMQ中的数据，并将所述数据存储在指定内存中；通过Spark Streaming的Receiver从所述指定内存中读取所述数据，并对所述数据进行批处理。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于Spark Streaming读取RabbitMQ数据的方法及装置。

背景技术

大数据时代，大数据的处理技术不断的发展，大量的数据通过队列进行数据的收集和消费。Kafka和RabbitMQ同为消息代理，且都以分布式部署为目的。Kafka是LinkedIn开源的分布式发布-订阅消息系统，其主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，但对消息的重复、丢失、错误没有严格要求。RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现，相较于kafka而言，RabbitMQ可用性、稳定性、可靠性更高。大数据时代对数据的可靠性、稳定性、准确性要求也越来越高，因此，越来越多的公司选择RabbitMQ作为消息代理。

发明内容

本发明实施例提供了一种基于Spark Streaming读取RabbitMQ数据的方法及装置，用于实现Spark Streaming从RabbitMQ数据读取数据进行处理，使得Spark Streaming接收到的数据流更加稳定和准确，并且避免了Spark Streaming停止运行后数据的丢失。

第一方面，本发明实施例提供了一种基于Spark Streaming读取RabbitMQ数据的方法，包括：

通过RabbitMQ的接收器Receiver读取所述RabbitMQ中的数据，并将所述数据存储在指定内存中；

通过Spark Streaming的Receiver从所述指定内存中读取所述数据，并对所述数据进行批处理。

可选的，所述通过RabbitMQ的Receiver读取所述RabbitMQ中的数据，具体包括：

确定所述RabbitMQ的receiver读取所述RabbitMQ中的数据的时间节点是否到达预先设置的所述RabbitMQ的Receiver停止读取所述RabbitMQ中的数据的第一时间；

若未到达所述第一时间，则通过所述RabbitMQ的receiver读取所述RabbitMQ中的数据。

可选的，所述通过Spark Streaming的receiver从所述指定内存中读取所述数据，还包括：

启动所述Spark Streaming；

确定所述Spark Streaming的Receiver从所述指定内存中读取所述数据的时间节点是否到达预先设置的所述Spark Streaming停止运行的第二时间，其中，所述第二时间晚于所述第一时间；

若未到达所述第二时间，则通过Spark Streaming的Receiver从所述指定内存中读取所述数据。

可选的，若确定所述RabbitMQ的Receiver读取所述RabbitMQ中的数据的时间节点到达所述第一时间时，所述方法还包括：确定所述RabbitMQ的Receiver停止从所述RabbitMQ中读取数据；

若确定所述Spark Streaming的Receiver从所述指定内存中读取所述数据的时间节点到达所述第二时间，所述方法还包括：停止运行所述Spark Streaming。