[发明专利]一种基于HBase的3D Tiles数据的存取方法及装置

说明书

本发明涉及一种基于HBase的3D Tiles数据的存取方法及装置，该方法首先根据3D Tiles数据的数据类型以及瓦片级别对HBase数据库进行预分区，并确定每个分区的起始rowkey和终止rowkey；然后，根据3D Tiles数据文件名称提取的瓦片级别和文件后缀组成rowkey；最后，根据所述rowkey对所述3D Tiles数据进行存取操作，将所述3D Tiles数据存入对应的分区或从相应的分区读取所述3D Tiles数据。HBase是根据rowkey查询的，只要能快速的定位rowkey,就能实现快速的查询。因此，建表分区，合理设计3D Tiles文件的rowkey，查询时通过rowkey快速精确查找到3D Tiles文件，可达到毫秒级查询速度。

技术领域

本发明涉及地理信息技术领域，具体涉及一种基于HBase的3D Tiles数据的存取方法及装置。

背景技术

3D Tiles一种符合OGC标准规范的三维数据格式，设计用于流式传输和渲染大量3D地理空间内容，例如摄影测量，3D建筑，BIM/CAD，实例化特征和点云。

现有的3D Tiles管理存在的问题有：文件夹管理方式，数据安全性较低，随着数据规模越来越大，管理起来极为不便，而且会带来读取效率低下，不利于三维数据快速加载与地图渲染。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于HBase的3DTiles数据的存取方法及装置。HBase是一个高可靠性、高性能、可伸缩的分布式数据库，通过rowkey可实现非结构化数据的快速查询与读取。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种基于HBase的3D Tiles数据的存取方法，包括以下步骤：

根据3D Tiles数据的数据类型以及瓦片级别对HBase数据库进行预分区，并确定每个分区的起始rowkey和终止rowkey，其中所述数据类型包括：b3dm型三维瓦片数据，pnts型点云数据和json型元数据；

根据3D Tiles数据文件名称提取的瓦片级别和文件后缀组成rowkey；

根据所述rowkey对所述3D Tiles数据进行存取操作，将所述3D Tiles数据存入对应的分区或从相应的分区读取所述3D Tiles数据。

由于HBase默认只有分区，在数据写入时，所有数据都会写入这个默认的分区，随着数据量的不断增加，此分区已经不能承受不断增长的数据量，会进行分割，分成2个分区，在此过程中，会产生两个问题：1.数据往一个分区上写,会有写热点问题。2.分区分割会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候，创建多个空分区，并确定每个分区的起始和终止rowkey，这样只要我们的rowkey设计能均匀的命中各个分区，就不会存在写热点问题。既能保证数据均匀存储，又能提高写的效率。

3D Tiles数据包含3类文件：三维瓦片数据b3dm，点云数据pnts和元数据json。由于3D Tiles数据占主要的数据格式为b3dm，点云数据和json数据量很小，将其存入第一个或者最后一个分区就可以了。3D Tiles各个地图级别瓦片数据量相对比较均匀，因此将各级瓦片分别建表分区存储。

进一步的，所述的将HBase数据库根据3D Tiles数据的数据类型进行预分区，还包括从瓦片文件夹名称提取地图级别作为分区名称，对分区表进行命名。便于存取数据时，直接查找到指定的分区，提高数据存取速度。