[发明专利]读取RabbitMQ数据的方法及装置

权利要求书

1.一种基于Spark Streaming读取RabbitMQ数据的方法，其特征在于，包括：

通过RabbitMQ的接收器Receiver读取所述RabbitMQ中的数据，并将所述数据存储在指定内存中；其中，在所述RabbitMQ的receiver中预先设置有停止读取所述RabbitMQ中数据并存到内存中的时间，在所述Spark Streaming中预先设置停止运行的时间，且停止从所述RabbitMQ中读取数据并存到指定内存中的时间早于所述Spark Streaming停止运行的时间；

通过Spark Streaming的Receiver从所述指定内存中读取所述数据，并对所述数据进行批处理。

2.如权利要求1所述的方法，其特征在于，所述通过RabbitMQ的Receiver读取所述RabbitMQ中的数据，具体包括：

确定所述RabbitMQ的receiver读取所述RabbitMQ中的数据的时间节点是否到达预先设置的所述RabbitMQ的Receiver停止读取所述RabbitMQ中的数据的第一时间；

若未到达所述第一时间，则通过所述RabbitMQ的receiver读取所述RabbitMQ中的数据。

3.如权利要求2所述的方法，其特征在于，所述通过Spark Streaming的receiver从所述指定内存中读取所述数据，还包括：

启动所述Spark Streaming；

确定所述Spark Streaming的Receiver从所述指定内存中读取所述数据的时间节点是否到达预先设置的所述Spark Streaming停止运行的第二时间，其中，所述第二时间晚于所述第一时间；

若未到达所述第二时间，则通过Spark Streaming的Receiver从所述指定内存中读取所述数据。

4.如权利要求3所述的方法，其特征在于，若确定所述RabbitMQ的Receiver读取所述RabbitMQ中的数据的时间节点到达所述第一时间时，所述方法还包括：确定所述RabbitMQ的Receiver停止从所述RabbitMQ中读取数据；

若确定所述Spark Streaming的Receiver从所述指定内存中读取所述数据的时间节点到达所述第二时间，所述方法还包括：停止运行所述Spark Streaming。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述Spark Streaming中包括多个Receiver，所述通过Spark Streaming的Receiver从所述指定内存中读取所述数据，具体为：

通过所述Spark Streaming的多个Receiver从所述指定内存中并行读取所述数据。

6.一种基于Spark Streaming读取RabbitMQ数据的装置，其特征在于，所述装置包括：

存储单元，用于通过RabbitMQ的接收器Receiver读取所述RabbitMQ中的数据，并将所述数据存储在指定内存中；其中，在所述RabbitMQ的receiver中预先设置有停止读取所述RabbitMQ中数据并存到内存中的时间，在所述Spark Streaming中预先设置停止运行的时间，且停止从所述RabbitMQ中读取数据并存到指定内存中的时间早于所述SparkStreaming停止运行的时间；

读取单元，用于通过Spark Streaming的Receiver从所述指定内存中读取所述数据，并对所述数据进行批处理。

7.如权利要求6所述的装置，其特征在于，所述存储单元，还用于：

确定所述RabbitMQ的receiver读取所述RabbitMQ中的数据的时间节点是否到达预先设置的所述RabbitMQ的Receiver停止读取所述RabbitMQ中的数据的第一时间；

若未到达所述第一时间，则通过所述RabbitMQ的receiver读取所述RabbitMQ中的数据。