[发明专利]一种基于大数据的车辆同行分析方法

说明书

一种基于大数据的车辆同行分析方法，所述方法包括：步骤1，将过车数据以结构化数据形式存储在hdfs或ftp服务器中，作为车辆结构化数据；步骤2，在hive中根据车辆结构化数据信息建立内部表，将车辆结构化数据导入新建的hive内部表中；步骤3，在hive之上增加alluxio分布式缓存，将hive内部表数据存储位置指向alluxio分布式缓存；步骤4，上层大数据分析引擎通过alluxio分布式缓存获取车辆结构化数据，进行车辆同行分析。本发明基于大数据分布式计算、存储框架，能匹配多种数据源数据结合车辆结构化数据进行分析，比传统的分析方法更加高效、稳定、扩展性强。

技术领域

本发明涉及大数据分析、数据挖掘领域，具体涉及一种基于大数据的车辆同行分析方法。

背景技术

现代社会道路监控技术发展的同时，违法犯罪行为与车辆、交通系统的联系也越来越密切。同行车辆是一个交通术语，是指在一定时间内与追踪车辆以一定规则存在同行关系的车辆。如果事先知道涉案车辆的车牌号，可以直接通过查询车牌识别数据找出其同行车辆。但是车辆数据规模庞大，怎么花费尽可能少的时间和资源来分析这些数据，得到准确的分析结果，是一个需要持续关注的问题。

通常车辆同行分析方式有的是将每辆车的过车数据根据一定信息标识进行聚合，计算出行车轨迹并存储，根据各时间点卡口重合度得出同行车辆信息，这种方式需要对数据做预计算处理，并对结果做额外的存储，不够灵活。有的是将车辆过车数据存储在数据仓库中，通过开源分析引擎将数据分批加载到内存或写文件方式进行车辆同行分析，但是数据间分析的相关性、数据加载开销、多源数据等问题没有一个完善的方案。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于大数据的车辆同行分析方法，具体方案如下：

一种基于大数据的车辆同行分析方法，所述方法包括：

步骤1，将过车数据以结构化数据形式存储在hdfs或ftp服务器中，作为车辆结构化数据；

步骤2，在hive中根据车辆结构化数据信息建立内部表，将车辆结构化数据导入新建的hive内部表中；

步骤3，在hive之上增加alluxio分布式缓存，将hive内部表数据存储位置指向alluxio分布式缓存；

步骤4，上层大数据分析引擎通过alluxio分布式缓存获取车辆结构化数据，进行车辆同行分析。

进一步地，步骤1中，所述车辆结构化数据以文本方式存储，每条车辆结构化数据采用json格式或分隔符分割字段形式保存在文本中，车辆结构化数据中包含车牌号码、卡口标识、抓拍时间以及车辆类型信息。

进一步地，步骤2中，hive的内部表根据车辆结构化数据量大小按照抓拍时间字段按天或按小时的粒度设置分区，同时根据卡口标识和车牌号码字段设置数据的分桶。

进一步地，步骤2中，将车辆结构化数据导入新建的hive内部表中时，车辆结构化数据在磁盘存储时做压缩处理。

进一步地，步骤4中，通过上层大数据分析引擎获取hive中的数据具体为：上层大数据分析引擎执行分析任务第一次加载数据时，从hive中扫描读取目标数据，并在alluxio分布式缓存中进行缓存，上层大数据分析引擎在后面执行分析任务时，如果目标数据在alluxio分布式缓存中存在，则直接从alluxio分布式缓存中直接读取，否则就从hdfs中加载。

进一步地，所述方法包括：手动加载hdfs中的数据到alluxio分布式缓存中。

进一步地，上层大数据分析引擎采用presto大数据分析引擎，presto大数据分析引擎分布式节点与alluxio分布式缓存中的分布式节点同置。