[发明专利]一种基于Spark的数据实时处理可视化的方法

权利要求书

1.一种基于Spark的数据实时处理可视化的方法，其特征在于：所述方法包括以下的步骤：

S1、Kafka实时推送Oracle中的源数据至Spark程序；

S2、Spark程序监听Kafka,并实时消费Kafka推送的数据；

S3、Spark程序将数据存入到mongoDB数据库；

S4、Websocket推送mongoDB数据库中的数据至前端；

S5、通过Echart框架将前端的实时数据在客户端进行动态化的图表展示。

2.如权利要求1所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述步骤S2包括以下步骤：

S21、Spark程序获取Kafka实时推送的更新的数据；

S22、Spark程序逐条消费Kafka推送的数据；

S23、Spark程序将最后更新时间标签封装到字段。

3.如权利要求1所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述步骤S21中Kafka实时推送的更新的数据包括但不限于商户表、线上订单表、线下流水表、风险核查单表和风险商户表。

4.如权利要求1所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述步骤S22包括以下步骤：

S221、Spark程序每拿到一条数据就进行清洗和去除重复数据；

S222、Spark程序对数据进行一次汇总聚合。

5.如权利要求1所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述步骤S3包括以下步骤：

S31、Spark程序将汇总的数据以json格式存入到mongoDB数据库；

S31、Spark程序将最后更新时间标签插入到mongoDB数据库。

6.如权利要求1所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述步骤S4包括以下步骤：

S41、通过Websocket协议与服务器进行一次握手，在浏览器和服务器之间生成一条数据通道；

S42、服务器实时将mongoDB数据库中更新的数据推送到前端界面。

7.如权利要求1所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述步骤S5中的客户端利用Node.js进行开发。

8.如权利要求7所述的一种基于Spark的数据实时处理可视化的方法，其特征在于：所述客户端利用Node.js的单线程和异步式I/O进行开发。