[发明专利]一种基于spark streaming处理流动车辆数据的方法及系统

说明书

本发明公开了一种基于spark streaming处理流动车辆数据的方法及系统，属于大数据处理领域，本发明要解决的技术问题为如何利用大数据技术实施检测车流量并能够快速发现目标车辆，采用的技术方案为：①该方法步骤如下：S1、获取卡口数据：获取设置卡口的各个路口通过的车辆信息，并将车辆信息进行处理后保存符合条件的数据，支持后续应用及对外服务；S2、数据处理；S3、数据应用：将经过数据处理的数据进行app推送、短信告警、邮件告警以及可视化分析。②该系统包括卡口数据获取模块、数据处理模块和数据应用模块，卡口数据获取模块通过数据传输通道kafka将获取的数据发送到数据处理模块，数据处理模块将经过处理并存储的数据发送到数据应用模块。

技术领域

本发明涉及大数据处理领域，具体地说是一种基于spark streaming处理流动车辆数据的方法及系统。

背景技术

Spark Streaming是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。

Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark Core，也就是把Spark Streaming的输入数据按照batch size(如1秒)分成一段一段的数据(Discretized Stream)，每一段数据都转换成Spark中的RDD(ResilientDistributed Dataset)，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间的结果进行缓存或者存储到外部设备。

对于流式计算来说，容错性至关重要。首先我们要明确一下Spark中RDD的容错机制。每一个RDD都是一个不可变的分布式可重算的数据集，其记录着确定性的操作继承关系(lineage)，所以只要输入数据是可容错的，那么任意一个RDD的分区(Partition)出错或不可用，都是可以利用原始输入数据通过转换操作而重新算出的。

对于实时性的讨论，会牵涉到流式处理框架的应用场景。Spark Streaming将流式计算分解成多个Spark Job，对于每一段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。对于目前版本的Spark Streaming而言，其最小的Batch Size的选取在0.5-2秒钟之间(Storm目前最小的延迟是100ms左右)，所以Spark Streaming能够满足除对实时性要求非常高(如高频实时交易)之外的所有流式准实时计算场景。

随着经济发展及车辆保有量的高速提升，交通安全的有效保障尤为重要。交通部门需要实时监测每个卡口的车流量，以便做出对应的策略。并且面对各式各样的突发交通状况，对于目标车辆的快速发现及定位非常重要。故如何利用大数据技术实施检测车流量并能够快速发现目标车辆是目前现有技术中急需解决的技术问题。

发明内容

本发明的技术任务是提供一种基于spark streaming处理流动车辆数据的方法及系统，来解决如何利用大数据技术实施检测车流量并能够快速发现目标车辆的问题。

本发明的技术任务是按以下方式实现的，一种基于spark streaming处理流动车辆数据的方法，该方法步骤如下：

S1、获取卡口数据：获取设置卡口的各个路口通过的车辆信息，并将车辆信息进行处理后保存符合条件的数据，支持后续应用及对外服务；

S2、数据处理：将获取的卡口数据通过数据传输通道kafka发送到数据处理模块，数据处理模块对非实时数据流和流数据进行处理并进行离线数据存储或实时数据存储；

S3、数据应用：将经过数据处理的数据进行app推送、短信告警、邮件告警以及可视化分析。