[发明专利]一种基于Spark的数据实时处理可视化的方法

说明书

本发明提供了一种基于Spark的数据实时处理可视化的方法，包括：Kafka实时推送Oracle中的源数据至Spark程序，Spark程序监听Kafka,并实时消费Kafka推送的数据，Spark程序将数据存入到mongoDB数据库，Websocket推送mongoDB数据库中的数据至前端界面，通过Echart框架将前端中的实时数据在客户端进行动态化的图表展示。主动推送数据解决了轮询所带来的资源浪费问题，提升了对数据查询操作的可行性；并且数据的实时可视化显示使数据更加直观，方便了查看数据。

技术领域

本发明涉及数据处理技术领域，具体的，本发明涉及一种基于Spark的数据实时处理可视化的方法。

背景技术

无现金时代大背景下，在第三方支付公司入网商户的数量和以及经第三方支付平台的交易笔数日趋增多，尤其是日交易笔数，已经达到千万级。在海量的商户信息和交易数据前，业务人员需要从多个维度对商户、代理商和分公司进行实时监督和管理，比如入网商户的合规率以及风险交易比例，当风险比率达到设定的阈值时，要对代理商或者分公司进行巡检排查，以达到控制风险交易，管控风险商户的目的。

目前的交易管理系统只做到了对大部分业务数据T+1的统计，业务人员在第二天才能看到代理商和分公司的合规交易信息，而且统计结果是以数字的形态静态展示在客户端界面上的，数据量大，字段多，不直观，难以让业务人员快速准确的做出判断，不得不依赖于大量数据的检索，很大程度上加重了业务人员的工作负担，也影响了业务人员的工作效率。现有技术中有利用Ajax对数据做轮询，但是采用这种方法即使是在数据无更新的时候也会做查询操作，数据量大的情况下，会造成大量的资源浪费，在当今大数据的时代下，无法满足实际需求。

发明内容

为了克服现有技术的不足，本发明提供了一种基于Spark的数据实时处理可视化的方法，通过主动推送数据避免轮询所带来的资源浪费，以解决上述的技术问题。

本发明解决其技术问题所采用的技术方法是：一种基于Spark的数据实时处理可视化的方法，其改进之处在于：包括S1、Kafka实时推送Oracle中的源数据至Spark程序；S2、Spark程序监听Kafka,并实时消费Kafka推送的数据；S3、Spark程序将数据存入到mongoDB数据库；S4、Websocket推送mongoDB数据库中的数据至前端；S5、通过Echart框架将前端的实时数据在客户端进行动态化的图表展示。

在上述方法中，步骤S2包括以下步骤：

S21、Spark程序获取Kafka实时推送的更新的数据；

S22、Spark程序逐条消费Kafka推送的数据；

S23、Spark程序将最后更新时间标签封装到字段。

在上述方法中，步骤S21中Kafka实时推送的更新的数据包括但不限于商户表、线上订单表、线下流水表、风险核查单表和风险商户表。

在上述方法中，步骤S22包括以下步骤：

S221、Spark程序每拿到一条数据就进行清洗和去除重复数据；

S222、Spark程序对数据进行一次汇总聚合。

在上述方法中，步骤S3包括以下步骤：

S31、Spark程序将汇总的数据以json格式存入到mongoDB数据库；

S31、Spark程序将最后更新时间标签插入到mongoDB数据库。

在上述方法中，步骤S4包括以下步骤：

S41、通过Websocket协议与服务器进行一次握手，在浏览器和服务器之间生成一条数据通道；