[发明专利]基于云计算高效检索浏览的地理信息云盘

权利要求书

1.基于云计算高效检索浏览的地理信息云盘，其特征在于，基于时空信息云平台的架构，设计实现云计算环境和分布式架构的地理信息数据大数据管理云盘系统，包括地理信息数据的云存储、构建基于HDFS-adLuc云的地理索引方法、地理信息文件元信息的建模方法、超大影像并行动态切片、在线云端快速浏览，解决大规模文件存储、检索和在线快速浏览问题；

第一，针对大规模地理信息数据存储问题，设计实现基于HDFS的云计算地理信息数据存储管理模块，可进行水平扩展和故障转移，在HDFS设置的文件操作接口的基础上，设置地理信息数据基本操作接口和文件管理，同时设置文件共享来避免繁琐的文件传输；

第二，针对海量地理信息文件元信息利用率不高、查询方式过于简单的问题，构建基于HDFS-adLuc云的地理索引方法，采用文件的基本元信息和地理元信息构建索引，设置多维度的查询内容和更多种类的查询方式，直接根据地理范围查找文件，提高文件检索的效率和命中率，基于云计算索引的构建配合分布式文件存储,设置超大规模的文件检索和快速响应机制；

第三，针对地理信息数据直接浏览不便的问题，设计实现基于Spark的影像交互式并行动态切片方法，动态切片的计算能力借助于基于云计算集群水平扩展，并基于Leaflet实现影像瓦片的在线快速浏览；

本申请的核心技术点：一是构建基于HDFS-adLuc云的地理索引方法；二是地理信息文件元信息的建模方法，包括：地理元信息获取、索引数据组织建模；三是地理影像文件云端快速浏览，包括：基于Spark的影像交互式并行动态切片方法、瓦片数据的云存储；

地理信息云盘系统设计包括：一是地理信息云盘系统总体架构；二是地理信息云盘业务流程；三是文件存储模块设计，包括文件接入、文件基本操作；四是文件索引模块设计，包括获取地理元信息、构建云计算索引、文件检索、云索引查询优化；五是地理信息数据浏览模块设计，包括地理信息数据检测、影像切片、地理信息数据显示、GIS应用数据库设计。

2.根据权利要求1所述基于云计算高效检索浏览的地理信息云盘，其特征在于，构建基于HDFS-adLuc云的地理索引方法：基于HDFS存储地理信息数据，并引入基于Lucene优化的搜索与分析引擎，构成基于云计算的实时文件存储框架HDFS-adLuc，每个地理信息数据字段都被索引并可被搜索，在应用中通过RESTful API和各类语言客户端、命令行进行交互，采用HDFS-adLuc构建基于云计算的地理索引的步骤包括：

步骤1：地理信息文件元信息准备：包括各类地理信息文件元信息的获取和数据组织建模两个阶段，本申请提出一种地理信息文件元信息的建模方法；

步骤2：Analyzer分析器设计：首先采用默认的或者安装的第三方分词器对建模后的地理信息文件元信息文档进行分词，然后去除文档的标点符号、停止词，进行大小写、单复数的转换，被索引的文档经过处理变成词项Term；对于地理信息数据的地理范围元信息，设置类型多边形geo_shape，分析器会采用Geohash算法将空间对象转换成base32编码的字符串，用于之后检索；

步骤3：选择索引分片：分析器处理后的文档经协调结点导入HDFS-adLuc集群进行缓存，协调结点是集群中作为客户端接入的结点,协调结点默认都包含集群各结点分片的元数据信息,协调结点默认采用MurMurHash3算法对输入的文档ID进行哈希，其结果再对分片数量取模，得到的结果就是索引文档存储的分片位置；

步骤4：缓存索引数据：当分片所在结点接收到来自协调结点的请求后，将该请求写入事务日志，并将文档加入内存缓冲，如果请求在主分片上成功处理，该请求会并行发送到该分片的副本上，然后客户端会收到确认通知；内存缓冲被周期性刷新，内容被写到文件系统缓存的一个新段上，该段未同步但开放，内容可被搜索，保证云计算地理索引的实时性；

步骤5：索引落地到存储介质：每30分钟或当事务日志很大时，清空事务日志，文件系统缓存被同步，内存中的缓存被清除，内容被写入一个新段，并将地理索引数据刷新到存储介质，此时一个跨多结点的云计算地理索引成功建立；

从HDFS-adLuc集群查询地理信息数据信息分为查询分发和结果归总两个阶段：

(1)查询分发阶段：协调结点将查询请求路由到索引的全部分片上，每个分片独立执行查询,并为查询结果创建一个优先队列，以关联性得分排序，所有分片都将匹配文档的ID及其关联性得分返回给协调结点，协调结点创建一个优先队列并对结果进行全局排序，得到很多文档匹配结果，每个分片只发送前10个结果给协调结点，协调结点为全部分片上的这些结果创建优先队列并返回前10个作为hit；

(2)结果归总阶段：协调结点向包含初始文档的分片发起请求，各个分片将上面命中的所有索引文档的信息返回给协调结点作为结果。