[发明专利]一种基于大数据架构的车联网数据分析平台

权利要求书

1.一种基于大数据架构的车联网数据分析平台，其特征是包括数据接收模块，数据分析任务管理模块，数据推送模块；其中，数据接收模块用于接收车载终端上报的采集数据，并将接收到的采集数据按照一定的数据预处理逻辑进行判断和处理，将满足一定条件的数据写入消息中间件Kafka中；数据分析任务管理模块用于将数据分析任务提交到Spark分布式计算引擎中，并在数据分析任务执行过程中统一进行监控和管理，将数据分析任务运行期间的监控指标和最终的分析结果写入到数据库Clickhouse中；数据推送模块基于Websocket协议接收用户订阅某个数据分析任务输出结果的请求，根据用户与数据分析任务的所属关系，接受或拒绝订阅请求，当接受用户订阅某个数据分析任务输出结果的订阅请求后，会将对应数据分析任务执行过程中的监控指标和分析结果推送给用户。

2.根据权利要求1所述的一种基于大数据架构的车联网数据分析平台，其特征是所述接收到的采集数据按照一定的数据预处理逻辑进行判断和处理，将满足一定条件的数据写入消息中间件Kafka中，具体为：将采集数据进行空值检查、缺失值填充、异常值检测操作，对于满足条件的数据按驾驶循环进行分段打包写入到消息中间件Kafka中。

3.根据权利要求1所述的一种基于大数据架构的车联网数据分析平台，其特征是还包括数据可视化模块，数据可视化模块基于Redash将数据库Clickhouse里的各项数据进行实时展示；所述数据分析任务管理模块能够基于数据可视化模块为每一个数据分析任务定制用于监控指标和分析结果展示的可视化页面。

4.根据权利要求1-3中任一项所述的一种基于大数据架构的车联网数据分析平台，其特征是所述数据分析任务管理模块将数据分析任务分成3类任务；所述3类任务包括离线训练任务、在线分析任务、离线分析任务。

5.根据权利要求4所述的一种基于大数据架构的车联网数据分析平台，其特征是所述离线训练任务、在线分析任务、离线分析任务由数据分析任务管理模块提交到Spark分布式计算引擎中。

6.根据权利要求4所述的一种基于大数据架构的车联网数据分析平台，其特征是所述离线训练任务的数据源是分布式文件系统HDFS上的文件，离线训练任务结束后会输出训练好的模型文件。

7.根据权利要求4所述的一种基于大数据架构的车联网数据分析平台，其特征是所述离线训练任务的执行包括以下步骤：

第一步，上传离线训练的任务代码jar包；

第二步，关联待分析的目标车辆编号集合；

第三步，选择需要分析的数据集范围，即分布式文件系统HDFS上的日期目录；

第四步，在数据可视化模块中自定义可视化仪表盘，并与对应的数据分析任务相关联；

第五步，启动数据分析任务前，根据实际需求调整数据分析任务的相关参数；

第六步，组装数据分析任务，指定数据源为分布式文件系统HDFS上的规定日期目录下的文件，提交数据分析任务到Spark分布式计算引擎上；

第七步，数据分析任务执行过程中将监控指标写入数据库Clickhouse中，数据分析任务执行结束后将分析结果写入数据库Clickhouse中，训练好的模型文件输出到分布式文件系统HDFS上的指定目录下。