[发明专利]一种卡口车辆通行数据的分布式存储方法及系统

说明书

技术领域

本发明涉及卡口过车信息数据存储技术领域，尤其是一种卡口车辆通行数据的分布式存储方法及系统。

背景技术

随着平安城市项目的推进，卡口系统需要接入的数据源越来越多，当前，平安合肥每日新增卡口数据约40万条，已有历史数据约4600万条，高效的存储和读取大数据量的数据成为传统数据库存储结构的瓶颈。现有的传统数据库存储实现的卡口系统虽然可以记录一定量的过车信息，但当记录的数据流达到一定的数量级，就无法保证写入效率和查询效率，严重影响了响应的实时性。另外，传统数据库对大数据量大数据存储的管理存在同样类似的瓶颈。 

发明内容

本发明的首要目的在于提供一种能够满足日常业务中卡口系统对海量过车信息数据存储的需求，大大提高查询速率的卡口车辆通行数据的分布式存储方法。

为实现上述目的，本发明采用了以下技术方案：一种卡口车辆通行数据的分布式存储方法，该方法包括下列顺序的步骤：

（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； 

（2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；

（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；

（4）接入待存储的各个卡口的过车信息数据源；

（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。

设定定时任务，自动统计前一天各个卡口的过车数据总量。

将车牌号、通过时间、卡口编号这三个特征作为主键，由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息，卡口数据信息格式为：车牌号+通过时间取反+卡口编号。

所述分布式可变索引随着新的卡口数据的插入而自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库内，LSM树的数据结构为：通过时间取反+卡口编号+车牌号。

用户输入一个车牌号的其中任意一段连续字符，便可通过分布式索引文件的查询返回相似度最高的前20个车牌号；返回车牌号之后，系统再根据相似度最高的车牌号列表进行全字段的匹配查询；车牌号的分布式索引存储在大数据集群中的分布式文件系统中。

本发明还公开了一种卡口车辆通行数据的分布式存储系统，包括大数据集群，大数据集群通过网线分别与用户终端、卡口服务器和交换机相连，卡口数据源通过交换机接入系统，其中，大数据集群，提供大数据平台计算服务和海量数据存储服务；

用户终端，用户用来访问整个卡口系统和其中大数据服务应用；

卡口服务器，是卡口业务系统存放的主机，经过编译的卡口业务系统打包上传到卡口服务器上，然后卡口服务器对外发布卡口服务；

卡口数据源，是卡口业务系统和大数据平台需要记录的摄像头卡口抓拍的数据；

交换机，用于在局域网内不同服务器和主机终端交换数据、搭建局域网。

所述大数据集群由1个计算节点、1个备份计算节点和N个数据节点组成，计算节点、备份计算节点和数据节点之间通过网线连接，其中，

计算节点，用于处理卡口过车信息中需要运算，和选择分配任务决策运算处理；

备份计算节点，保证集群的高可用；

数据节点，用于存储海量过车信息数据。

所述大数据集群运行在Linux内核的服务器，计算节点、备份计算节点和数据节点使用Hadoop分布式计算框架，采用HDFS的分布式文件系统，利用MapReduce算法实现“分而治之”的计算模型，所有数据通过Phoenix中间件存储在HBase数据库内，整个Hadoop框架内的计算转发、监控和策略决定都由ZooKeeper管理。

由上述技术方案可知，本发明采用分布式数据存储结构，接入不同厂家的卡口过车信息数据,并且在入库之前对数据进行合法性校验和业务性调整,保证数据可用可分析。同时对车牌号，过车信息建立索引，保证查询时间和效率，保证高可用。本发明不仅满足了日常业务中卡口系统对海量过车信息数据存储的需求，而且通过对过车信息的数据结构的索引数据结构设计实现了快速查询的功能，大大提高了查询速率，增强了用户体验。本发明不仅可以应用于平安城市卡口系统记录过车信息相关数据，还可将其运用到其他类似数据量大，业务处理相对不是很复杂的业务场景中使用。

附图说明

图1为本发明的系统网络拓扑图。