[发明专利]一种基于大数据的智能交通平台数据集成方法

权利要求书

1.一种基于大数据的智能交通平台数据集成方法，其特征在于：该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；能够支持大数据应用；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据持久化，向Hdfs文件存储系统转储；数据被持久化为标准化流，保存到FIFO文件队列，同时在内存中维持一张文件头索引表；生产者向引擎推送数据，并发布数据专题；消费者主动拉取引擎上数据专题内容，并自己记录已经拉取的数据位置；引擎向消费者发送其请求的数据时，采用零拷贝方法；数据专题作为消费者识别数据类型的依据；数据专题和多个段文件进行关联，实现专题数据内容的横向扩展；每个段文件在多台服务器上有复本，从而保证数据文件安全；

段文件多个文件复本所在服务器被划分为Master和Slave两类角色，Master负责数据写操作、转发读操作、通知Slave进行数据同步；Slave负责转发写操作、与Master同步、提供读取服务；Master是从Slave中选举出来，在集群发现Master不能提供正常服务后会发起选举， Slave的数量必须满足2*n+1才能保证选举成功，选举采用fast paxos算法；

该方法基于大数据的存储系统来设计数据接入层；从集成平台接入层就对数据进行了分类，实时数据直接分发到集成平台客户端显示；历史消费的数据由支持大数据处理的文件存储系统来存取，需要进一步处理的数据采用大数据处理方法，将数据按需转换到不同的数据仓库中供集成平台调取；无需处理的数据直接按照原始的数据格式进行留存；

适用于该方法的智能交通集成指挥平台分为以下五层：用户界面层、应用层、数据集成层、网络层、设备层；该方法主要完成数据存储转发引擎集群设计和实现；从对数据到达消费者的时效性要求的高低，将智能交通集成平台数据划分为两类：实时消费数据和历史消费数据；采用集群的方式实现高稳定性、高性能；引擎集群能够自动感知集群新进引擎并上线提供服务；

老引擎停止服务时通知生产者和消费者，重新选取引擎服务来处理数据；引擎中的数据由生产者推送过来，为了避免频繁的IO操作，生产者是按批次推送数据，引擎成批的接收数据，消费者成批的拉取数据；

引擎为了提高数据转发、转储的效率，对数据内容不进行任何解析操作；生产者将数据格式化为统一结构然后序列化为标准文件流；标准化文件流就可以方便在网络层、引擎服务器、消费者之间进行传输，这种数据只有到达真正的使用者时才会被解析，反序列化出来；传输采用零拷贝技术，减少数据在用户空间缓存与内核空间缓存的拷贝；

在引擎服务器内存维护一张段文件索引表，存储每个段文件起始地址；持久化生产者发送的数据到引擎服务器段文件中，段文件采用FIFO队列组织；提供多个段文件在不同引擎服务器上的数据复本，保证持久化数据安全；

每一个段文件多个复本分别存放在不同的物理服务器上，物理服务器会被划分为两类角色：Master和Slave；Master负责段文件的写操作、并通知Slave数据同步；Slave负责向Master转发写操作，提供应用层读取服务；Master是采用paxos动态选举产生，一旦一个Master失效，会从Slave中重新选举一个Master。

2.根据权利要求1所述的基于大数据的智能交通平台数据集成方法，其特征在于：数据存储转发引擎生产数据处理流程如下：

引擎获取生产者连接，接收生产者发送的数据到临时队列，引擎会根据配置文件中设置的数据缓存长度或者缓存时长，检查接收到的数据量，达到配置文件要求时，会执行数据持久化操作；

由于数据持久化是通过Master来完成，所以数据在持久化到段文件之前，引擎会判断该段文件所在的Master是否正常，如果正常则进行下一步写入段文件操作；则转入Master选举流程；

Master选举流程选用fast paxos算法，该算法对参与选举的服务器数要求必须是2*n+1个；选举是由当前写入服务器发起，并由其统计每个Slave得票数，其他的Slave服务器负责投票，直到Master产生；

Master产生后将负责把文件写入到段文件中，根据生产者要求将段文件关联到指定专题，同时在内存索引表中添加该段文件地址索引项；

结束数据上传流程，并发布到专题，供消费者拉取消费。

3.根据权利要求1所述的基于大数据的智能交通平台数据集成方法，其特征在于：数据存储转发引擎消费数据处理流程如下：

引擎获取消费者连接，接收消费者拉取数据的请求；该请求中包括消费者要消费的专题项信息、段文件起始地址、内部数据偏移量；

引擎从页面缓存中直接将数据转递到socket缓存，发送给消费者；

段文件中的每条数据都会有一个递增的唯一ID标识；Slave服务器会定期向Master发送最大标识ID，询问Master是否需要同步数据，Master收到标识后会给出应答，同步采用增量同步方式，每次同步的增量Master在应答中会告知Slave，Slave收到后就启动同步线程，执行同步；

每次消费者拉取的数据多少，引擎端不做任何的记录；需要消费者在本地记录已经读取的数据地址和偏移，当然消费者通过修改地址和偏移的方式，重复读取引擎端的数据。