[发明专利]一种基于大数据的车辆同行分析方法

权利要求书

1.一种基于大数据的车辆同行分析方法，其特征在于，所述方法包括：

步骤1，将过车数据以结构化数据形式存储在hdfs或ftp服务器中，作为车辆结构化数据；

步骤2，在hive中根据车辆结构化数据信息建立内部表，将车辆结构化数据导入新建的hive内部表中；

步骤3，在hive之上增加alluxio分布式缓存，将hive内部表数据存储位置指向alluxio分布式缓存；

步骤4，上层大数据分析引擎通过alluxio分布式缓存获取车辆结构化数据，进行车辆同行分析。

2.根据权利要求1所述的基于大数据的车辆同行分析方法，其特征在于，步骤1中，所述车辆结构化数据以文本方式存储，每条车辆结构化数据采用json格式或分隔符分割字段形式保存在文本中，车辆结构化数据中包含车牌号码、卡口标识、抓拍时间以及车辆类型信息。

3.根据权利要求2所述的基于大数据的车辆同行分析方法，其特征在于，步骤2中，hive的内部表根据车辆结构化数据量大小按照抓拍时间字段按天或按小时的粒度设置分区，同时根据卡口标识和车牌号码字段设置数据的分桶。

4.根据权利要求2所述的基于大数据的车辆同行分析方法，其特征在于，步骤2中，将车辆结构化数据导入新建的hive内部表中时，对车辆结构化数据在磁盘存储时做压缩处理。

5.根据权利要求1所述的基于大数据的车辆同行分析方法，其特征在于，步骤4中，通过上层大数据分析引擎获取hive中的数据具体为：上层大数据分析引擎执行分析任务第一次加载数据时，从hive中扫描读取目标数据，并在alluxio分布式缓存中进行缓存，上层大数据分析引擎在后面执行分析任务时，如果目标数据在alluxio分布式缓存中存在，则直接从alluxio分布式缓存中直接读取，否则就从hdfs中加载。

6.根据权利要求5所述的基于大数据的车辆同行分析方法，其特征在于，所述方法包括：手动加载hdfs中的数据到alluxio分布式缓存中。

7.根据权利要求5所述的基于大数据的车辆同行分析方法，其特征在于，上层大数据分析引擎采用presto大数据分析引擎，presto大数据分析引擎的分布式节点与alluxio分布式缓存中的分布式节点同置。

8.根据权利要求5所述的基于大数据的车辆同行分析方法，其特征在于，alluxio分布式缓存支持横向扩展节点，并根据场景需求动态配置。

9.根据权利要求1所述的基于大数据的车辆同行分析方法，其特征在于，步骤4中，进行车辆同行分析具体为：根据同行车辆定义设置车牌号码、时间维度、去重时间间隔误差以及跟车卡口数执行车辆同行分析。

10.根据权利要求1所述的基于大数据的车辆同行分析方法，其特征在于，所述方法还包括：上层大数据分析引擎配置hive连接和外部mysql数据源连接，通过配置hive连接和外部mysql数据源连接，获取车辆结构化数据和外部mysql数据，通过车辆结构化数据和外部mysql数据进行车辆同行分析，其中，所述外部mysql数据包括车辆信息码表。