[发明专利]一种基于大数据的智能交通平台数据集成方法

摘要

一种基于大数据的智能交通平台数据集成方法，该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据被持久化为标准化流；生产者向引擎推送数据；消费者是主动拉取引擎上数据专题内容。本发明提供给智能交通子系统统一的数据接入服务，能够支撑大规模数据不间断稳定传输。自身转发效率高，能够提供实时数据转发和历史数据暂储功能，实现对智能交通大数据分析、处理的支撑。

主权项

1.一种基于大数据的智能交通平台数据集成方法，其特征在于：该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；能够支持大数据应用；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据持久化，向Hdfs文件存储系统转储；数据被持久化为标准化流，保存到FIFO文件队列，同时在内存中维持一张文件头索引表；生产者向引擎推送数据，并发布数据专题；消费者主动拉取引擎上数据专题内容，并自己记录已经拉取的数据位置；引擎向消费者发送其请求的数据时，采用零拷贝方法；数据专题作为消费者识别数据类型的依据；数据专题和多个段文件进行关联，实现专题数据内容的横向扩展；每个段文件在多台服务器上有复本，从而保证数据文件安全；段文件多个文件复本所在服务器被划分为Master和Slave两类角色，Master负责数据写操作、转发读操作、通知Slave进行数据同步；Slave负责转发写操作、与Master同步、提供读取服务；Master是从Slave中选举出来，在集群发现Master不能提供正常服务后会发起选举， Slave的数量必须满足2*n+1才能保证选举成功，选举采用fast paxos算法；该方法基于大数据的存储系统来设计数据接入层；从集成平台接入层就对数据进行了分类，实时数据直接分发到集成平台客户端显示；历史消费的数据由支持大数据处理的文件存储系统来存取，需要进一步处理的数据采用大数据处理方法，将数据按需转换到不同的数据仓库中供集成平台调取；无需处理的数据直接按照原始的数据格式进行留存；适用于该方法的智能交通集成指挥平台分为以下五层：用户界面层、应用层、数据集成层、网络层、设备层；该方法主要完成数据存储转发引擎集群设计和实现；从对数据到达消费者的时效性要求的高低，将智能交通集成平台数据划分为两类：实时消费数据和历史消费数据；采用集群的方式实现高稳定性、高性能；引擎集群能够自动感知集群新进引擎并上线提供服务；老引擎停止服务时通知生产者和消费者，重新选取引擎服务来处理数据；引擎中的数据由生产者推送过来，为了避免频繁的IO操作，生产者是按批次推送数据，引擎成批的接收数据，消费者成批的拉取数据；引擎为了提高数据转发、转储的效率，对数据内容不进行任何解析操作；生产者将数据格式化为统一结构然后序列化为标准文件流；标准化文件流就可以方便在网络层、引擎服务器、消费者之间进行传输，这种数据只有到达真正的使用者时才会被解析，反序列化出来；传输采用零拷贝技术，减少数据在用户空间缓存与内核空间缓存的拷贝；在引擎服务器内存维护一张段文件索引表，存储每个段文件起始地址；持久化生产者发送的数据到引擎服务器段文件中，段文件采用FIFO队列组织；提供多个段文件在不同引擎服务器上的数据复本，保证持久化数据安全；每一个段文件多个复本分别存放在不同的物理服务器上，物理服务器会被划分为两类角色：Master和Slave；Master负责段文件的写操作、并通知Slave数据同步；Slave负责向Master转发写操作，提供应用层读取服务；Master是采用paxos动态选举产生，一旦一个Master失效，会从Slave中重新选举一个Master。