[发明专利]基于Redis的Spark数据处理方法及系统

说明书

本发明提供了一种基于Redis的Spark数据处理方法及系统，该方法包括以下步骤：S1，Spark数据处理框架从分布式数据源kafka中获取数据，将数据转换成弹性分布式数据集RDD；S2，Spark数据处理框架对弹性分布式数据集RDD中的数据进行初步处理生成新的分布式数据集RDD，并存入Redis存储装置中；S3，Redis存储装置对初步处理后生成的分布式数据集RDD进行更深层次的处理生成新的结果数据集，并提供对外的快速访问接口；S4，Spark数据处理框架通过访问接口获取更深层次处理后生成的结果数据集，根据业务要求进行复杂的逻辑处理后将最终的结果写入分布式数据源kafka中。本发明结合Spark数据处理框架和Redis存储装置，大幅提升处理分析任务的性能。

技术领域

本发明涉及计算机数据处理领域，尤其涉及一种基于Redis的Spark数据处理方法及系统。

背景技术

许多公司日益需要分析交易的速度与业务交易本身的速度一样快，越来越多的决策变得自动化，驱动这些决策所需的分析应该实时进行。Spark是一种出色的通用数据处理框架，在数据处理方面能达到准实时；Spark通过借鉴开源算法，并将处理任务分布到计算节点集群上，无论是在单一平台上所能执行的数据分析类型方面，还是在执行这些任务的速度方面，Spark这一代框架都轻松胜过传统框架。但是目前的Spark数据处理框架还是无法满足业务分析速度的要求，处理分析任务的性能有待提升，因此有必要对现有的Spark数据处理方法进行改进。

发明内容

本发明的目的在于提供一种基于Redis的Spark数据处理方法及系统，旨在用于解决现有的Spark数据处理框架的分析速度无法满足要求的问题。

本发明是这样实现的：

一方面，本发明提供一种基于Redis的Spark数据处理方法，包括以下步骤：

S1，Spark数据处理框架从分布式数据源kafka中获取数据，将数据转换成弹性分布式数据集RDD；

S2，Spark数据处理框架对弹性分布式数据集RDD中的数据进行初步处理生成新的分布式数据集RDD，并将新的分布式数据集RDD存入Redis存储装置中；

S3，Redis存储装置对初步处理后生成的分布式数据集RDD进行更深层次的处理生成新的结果数据集，并提供对外的快速访问接口；

S4，Spark数据处理框架通过Redis存储装置提供的访问接口获取更深层次处理后生成的结果数据集，根据业务要求进行复杂的逻辑处理后将最终的结果写入分布式数据源kafka中。

进一步地，所述初步处理包括对数据进行统计处理；所述更深层次的处理包括对数据进行分类汇总处理；所述复杂的逻辑处理包括对数据的趋势进行预测或对用户关注的信息进行推送。

进一步地，所述步骤S2中，将新的分布式数据集RDD存入Redis存储装置中采用的存储方式如下：针对简单的数据统计需求或者数据去重需求，采用key-set的方式存储；针对多维度地对数据进行统计分析的需求，采用key-set和key-map结合的方式存储。

进一步地，当Redis存储装置中存储的数据集过大时，将Redis存储装置处理过的数据集通过接口主动传递给Spark数据处理框架，Spark数据处理框架对数据处理完毕后通知Redis存储装置，Redis存储装置收到通知后将存储在key-map中的完整数据集通过接口写入HBase中，然后删除Redis存储装置中的该数据集。

进一步地，还包括以下步骤：业务平台从分布式数据源kafka中取出最终的结果数据进行相关展示。

另一方面，本发明还提供一种基于Redis的Spark数据处理系统，包括分布式数据源kafka、Spark数据处理框架以及Redis存储装置；