[发明专利]基于Redis的Spark数据处理方法及系统

权利要求书

1.一种基于Redis的Spark数据处理方法，其特征在于，包括以下步骤：

S1，Spark数据处理框架从分布式数据源kafka中获取数据，将数据转换成弹性分布式数据集RDD；

S2，Spark数据处理框架对弹性分布式数据集RDD中的数据进行初步处理生成新的分布式数据集RDD，并将新的分布式数据集RDD存入Redis存储装置中；

S3，Redis存储装置对初步处理后生成的分布式数据集RDD进行更深层次的处理生成新的结果数据集，并提供对外的快速访问接口；

S4，Spark数据处理框架通过Redis存储装置提供的访问接口获取更深层次处理后生成的结果数据集，根据业务要求进行复杂的逻辑处理后将最终的结果写入分布式数据源kafka中。

2.如权利要求1所述的基于Redis的Spark数据处理方法，其特征在于：所述初步处理包括对数据进行统计处理；所述更深层次的处理包括对数据进行分类汇总处理；所述复杂的逻辑处理包括对数据的趋势进行预测或对用户关注的信息进行推送。

3.如权利要求1所述的基于Redis的Spark数据处理方法，其特征在于，所述步骤S2中，将新的分布式数据集RDD存入Redis存储装置中采用的存储方式如下：针对简单的数据统计需求或者数据去重需求，采用key-set的方式存储；针对多维度地对数据进行统计分析的需求，采用key-set和key-map结合的方式存储。

4.如权利要求1所述的基于Redis的Spark数据处理方法，其特征在于：当Redis存储装置中存储的数据集过大时，将Redis存储装置处理过的数据集通过接口主动传递给Spark数据处理框架，Spark数据处理框架对数据处理完毕后通知Redis存储装置，Redis存储装置收到通知后将存储在key-map中的完整数据集通过接口写入HBase中，然后删除Redis存储装置中的该数据集。

5.如权利要求1所述的基于Redis的Spark数据处理方法，其特征在于，还包括以下步骤：业务平台从分布式数据源kafka中取出最终的结果数据进行相关展示。

6.一种基于Redis的Spark数据处理系统，其特征在于：包括分布式数据源kafka、Spark数据处理框架以及Redis存储装置；

所述分布式数据源kafka用于存储采集的多维大数据；

所述Spark数据处理框架用于从分布式数据源kafka中获取数据，将数据转换成弹性分布式数据集RDD，对弹性分布式数据集RDD中的数据进行初步处理生成新的分布式数据集RDD，并将新的分布式数据集RDD存入Redis存储装置中；

所述Redis存储装置用于对初步处理后生成的分布式数据集RDD进行更深层次的处理生成新的结果数据集，并提供对外的快速访问接口；

所述Spark数据处理框架还用于通过Redis存储装置提供的访问接口获取更深层次处理后生成的结果数据集，根据业务要求进行复杂的逻辑处理后将最终的结果写入分布式数据源kafka中。

7.如权利要求5所述的基于Redis的Spark数据处理系统，其特征在于：所述Spark数据处理框架对弹性分布式数据集RDD中的数据进行初步处理包括对数据进行统计处理；所述Redis存储装置用于对初步处理后生成的分布式数据集RDD进行更深层次的处理包括对数据进行分类汇总处理；所述Spark数据处理框架进行复杂的逻辑处理包括对数据的趋势进行预测或对用户关注的信息进行推送。

8.如权利要求5所述的基于Redis的Spark数据处理系统，其特征在于：所述Spark数据处理框架将新的分布式数据集RDD存入Redis存储装置中采用的存储方式如下：针对简单的数据统计需求或者数据去重需求，采用key-set的方式存储；针对多维度地对数据进行统计分析的需求，采用key-set和key-map结合的方式存储。