[发明专利]基于希尔伯特曲线的大规模区域目标实时查找方法

说明书

本发明提供了一种基于希尔伯特曲线的大规模区域目标实时查询方法。提供相互连接的数据源服务器、大数据集群及缓存服务器，大数据集群包括kafka服务器及Spark streaming服务器。步骤如下：步骤一，数据源服务器接收数据源发送的位置信息；步骤二，数据源服务器向kafka服务器传输位置信息，kafka服务器将位置信息存储于缓存服务器并生成kafka消息队列；步骤三，Spark streaming服务器从kafka消息队列中拉取位置信息，并利用Google S2算法实时计算目标单位在位置信息周围的数量及距离，并生成查询结果；步骤四，Spark streaming服务器将查询结果储存至缓存服务器，并通过SSM技术将查询结果渲染。与相关技术相比，本发明提供的基于希尔伯特曲线的大规模区域目标实时查询方法，计算范围更精准，查找效率高。

【技术领域】

本发明涉及大数据技术领域，尤其涉及基于希尔伯特曲线的大规模区域查找算法。

【背景技术】

近年来，在云计算时代，面对海量数据的实时查询，传统的数据库工具显然力不从心，主要是数据量太大，在性能上无法满足海量数据的处理需求。目前已经产生了各种成熟的海量数据处理组件，但是还没有一种较好的方案，来处理海量数据的接收到转换，最后到输出这一整套的流程。

Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batch size(如1秒)分成一段一段的数据(Discretized Stream)，然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作，将RDD经过操作变成中间结果保存在内存中。整个流式计算根据业务的需求可以对中间的结果进行叠加，或者存储到外部设备。

Flume是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务。Flume具有高可用、高可靠、分布式等特点，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。

Kafka是设计独特的消息队列，具有非常高的吞吐能力，以及强大的扩展性，Kafka的设计目的分布式，高吞吐、高扩展。Kafka是一个消息发布订阅系统，分为producer、Broker、Consumer几个模块、producer向某个Topic发布信息，发往Kafka数据由Broker进行存储和转发，Consumer订阅某个Topic的消息，进而一旦由新的关于某个Topic的消息，Broker会传递给订阅它的所有Consumer。在Kafka中，消息是按Topic组织的，每个Topic又分为多个Partition，这样便于管理数据和进行负载均衡，负载均衡通过Zookeeper来做的。

空间填充曲线的空间连续性用于描述在空间上连续的地理实体被空间填充曲线转化为一维数值编码后编码的连续性状况。对于同样的地理实体，转化后的编码间隔数越小，该空间填充曲线的空间连续性越好。Z曲线的连续性较差，在四叉树索引结构中编码的连续性不强，在一定程度上影响了查询效率。作为另一种空间填充曲线，Hilbert曲线同样可应用到四叉树索引中。一些学者在单一尺度的Hilbert曲线与Z曲线的空间连续性效率的研究中，证明了Hilbert曲线的优越性。

目前用于地理搜索查询的主要是基于Z曲线的GEOHASH算法，它使用范围较广，但是存在精度不准确等特点，GEOHASH算法使用了Z-ORDER空间填充曲线，这种曲线存在突变性，容易导致查询位置不准确，而且在GEOHASH算法中，若选择不合适的网络大小，则判断临近点可能会比较麻烦。

针对现有技术的大规模区域目标实时查找方法中，精度不够准确的缺陷，有必要提供一种新的基于希尔伯特曲线的大规模区域目标实时查找方法来解决上述问题。

【发明内容】