[发明专利]一种高速公路海量交易数据检索方法

说明书

一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性；采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎；当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录；本发明的优点：本发明所述的高速公路海量交易数据检索方法，针对复杂查询以及多维查询，利用二级索引技术，加快速度，提高效率。

技术领域

本发明涉及交通大数据领域，特别涉及了一种高速公路海量交易数据检索方法。

背景技术

近年来，大数据在交通行业开始起步。而在大数据应用方面，海量数据的查询是很重要的一个部分。目前已有的分布式列数据库HBase支持基于行健的查询，并且速度很快。但是，HBase基于列的多维查询效率则不尽人意。

发明内容

本发明的目的是针对交通行业高速公路海量数据查询的问题，特提供了一种高速公路海量交易数据检索方法。

本发明提供了一种高速公路海量交易数据检索方法，其特征在于：所述的高速公路海量交易数据检索方法，是基于Solr与HBase的高速公路海量交易数据检索方法，HBase能实现高效的基于rowkey的查询，在海量数据的背景下，仍然具有很好的效率和延展性。

采用二级索引技术，对常用查询属性建立二级索引，索引值为HBase的rowkey，二级索引技术采用Solr搜索引擎。当查询到来时，首先到Solr中查询满足对应条件的rowkey结果集，然后再根据rowkey结果集，去HBase中查询对应的交易记录。

使用到的技术有：java，hadoop，HBase，Solr，oracle，linux。本发明的实现均使用java语言。oracle有两个职能，一个是生产系统用oracle存储数据，另外，oracle还作为数据缓存处理的中间存储。HBase作为基础数据的存储，通过rowkey查询时具有很高的效率。HBase的二级索引采用Solr搜索引擎。通过高速公路海量交易数据检索方法，能进行基本的数据插入更新和高效的查找，所有节点使用的操作系统为linux。

设计Solr索引的字段及格式，包括常用的查询条件以及对应的值类型。然后再Solr中建立对应的空的索引。设置HBase的预写日志功能WAL，为开启。当数据写入HBase时，首先会写WAL即write ahead log。监听程序indexer监听WAL，每当WAL更新时，监听程序则读取WAL中增量更新的内容，根据读取内容更新Solr中的索引。

查询时，首先根据查询条件，形成Solr查询语句，然后到Solr中查询对应索引，得到HBase表的rowkey结果集，然后根据rowkey结果集，到HBase中查询对应的记录，并返回对应结果。

此种方式，对HBase写入效率基本没有影响，对硬件要求相对实施例2稍低。但当监听程序出问题或者遇到别的特殊情况时，可能导致在HBase中有的数据在Solr中没有，造成数据不一致。适合容许丢失一部分索引数据的，对丢失索引数据不敏感的情况。

设计Solr索引的字段及格式，包括常用的查询条件以及对应的值得类型。然后再Solr中建立对应的空的索引。数据写入HBase之前，先存储在oracle中，然后数据处理工具data handler轮询oracle，将更新的数据写入到HBase中，写入之后，将oracle中HBase写入标记位修改为已写入状态。