[发明专利]一种车辆数据实时聚集方法

说明书

本发明公开了一种车辆数据实时聚集方法，数据源从kafka集群消费，保证数据源的实时性；然后在基于kafka无界流分窗口汇总数据结果，获取到数据源后，基实时运算汇总进行分组运算和汇总；数据汇总可达有20个维度的计算，其结果分别缓存到redis存储，从而可持续地写入运算结果到redis缓存，并且将redis充当为一个可无限循环写入的缓存数据库，再由定时任务去读取并更新到关系型数据库。本发明可以实现最新数据的汇总及更新，整个运算和写入缓存再到持久化总共时间控制在延迟10分钟以内；与T+1汇总相比，数据的实时性更高，持续更新运算结果，效率更高。

技术领域

本发明属于车联网技术领域，涉及一种车辆数据实时聚集方法。

背景技术

随着车联网技术的发展，车辆信息都需要发送给后台，比如在车辆实时里程聚集中，单车5秒上报一次给网关，然后再从网关消费车辆上报数据数据并存储。然而随着后台需要处理的车辆数量增长，直接消费入关系型数据库越来越难，一般采取先消费到中间件(比如hdfs)存储，经过T+1的时间 (即当天只能计算出前一天的数据汇总)，得到汇总的结果，然后写入到关系型数据库存储，不能保证车辆信息的实时性。

发明内容

本发明解决的技术问题在于提供一种车辆数据实时聚集方法，以实现车辆信息的实时聚集。

本发明是通过以下技术方案来实现：

一种车辆数据实时聚集方法，包括以下操作：

1)车辆实时数据通过车载终端发送到网关，网关再发送到kafka，车辆实时数据保存为二进制无界流；

2)二进制无界流的数据再被接收到解析器，解析器按照规定的业务方法解析成明文；

3)分组运算器接收明文，依据数据号、数据时间对其进行分组；并对分组完成的数据以组为单位，按照业务方法分别进行计算，得到包括数据号、数据时间、时间戳和业务内容的车辆中间数据；

4)将车辆中间数据缓存到Redis；

5)汇总计算器定时从Redis缓存中提取车辆中间数据，按照业务方法进行运算，并将运算结果写入数据库，对车辆业务状态进行更新。

所述车辆中间数据缓存到Redis时，将车辆的起始业务状态保存在Redis 持久区，防止内存数据的丢失；当发生异常时，车辆的起始业务状态数据会被加载到下一计算任务当中。

所述的Redis还设有定时清理历史数据的定时清理器：定时清理器按照设定的时间，定时清理车辆的历史数据。

所述的Redis还设有变量监控器，以对在写入缓存期间或运算期间产生的全局变量进行监控和清理：变量监控器按照指定频率获取全局变量内存的占用，当占用比达到阈值时，变量监控器发出清理指令，清理全局变量中产生时间靠前的历史数据以降低占用比到设定值。

所述的汇总计算器基于定时任务框架提取车辆中间数据并进行运算：

所述的定时任务框架包括iov-task-api、注册器和定时容器，将车辆中间数据分为n个任务，包括以下操作：

1)iov-task-api提供面向任务的接口，其包括DefaultScheduleTask类和DefaultTask两部分；其中，DefaultScheduleTask类包括了lock和调度方法， DefaultTask提供任务执行的业务写入方法；任务继承DefaultScheduleTask类，再继承DefaultTask，任务在满足解锁条件后被释放，通过接口进入注册器进行注册；

2)注册器包括任务细节和触发器，注册时，任务细节对任务命名和分组，触发器对任务规定执行频率；注册后，注册器将任务的注册内容通知定时容器，定时容器按照业务写入方法将任务写入数据库；