[发明专利]点云数据存储、并行计算和实时检索的方法及其系统

说明书

技术领域

本发明涉及地理空间数据处理以及大数据处理技术，尤其涉及一种点云数据存储、并行计算和实时检索的方法及其系统。

背景技术

激光雷达技术可以快速获取高密集、高精度的激光点云数据，通过后期处理点云数据，能够建立精度为厘米级的三维立体模型。这种精细化技术已经应用于军事、民用各个层次，例如，无人驾驶、虚拟现实、建筑工程等。然而，由于这种技术采集的数据量巨大(通常为TB级)，如何有效存储和管理这些海量数据、基于海量数据的快速处理及三维立体模型的建模，基于海量空间数据的实时检索还存在技术瓶颈，成为激光雷达技术广泛应用的一种障碍。

为了解决上述技术问题，人们进行了长期的探索，例如中国专利公开了一种基于摆动激光雷达的可变视野三维重建装置[申请号：CN201610444260.7]，包括激光雷达摆动机构、机构运动控制模块和三维点云重建模块，其中：单线激光雷达为三维点云数据采集设备，激光雷达中心固定机构承受激光雷达重量并固定激光雷达中心，激光雷达摆动控制机构实现激光雷达视野范围的调节并带动其全向摆动，三者组成激光雷达摆动机构；机构运动控制模块控制激光雷达摆动机构的运动，并对激光雷达位姿进行实时测量；三维点云重建模块对多帧激光雷达测量数据进行拼接，重建空间三维点云。

上述方案能够通过对三维环境的测量与重建，根据需求对视野范围和点云分布进行调节，以实现对不同位置空间信息的重点测量，具有精度高、可靠性强、适应性好的特点，但是仍然存在部分不足，例如，无法有效存储和管理这些海量数据、基于海量数据的快速处理及三维立体模型的建模，也无法基于海量空间数据进行实时检索，前述的同样也是目前的技术瓶颈，成为激光雷达技术广泛应用的一种障碍。

此外，Hadoop是一种在互联网行业广泛使用的大数据架构，Hadoop非常适合存储和处理海量数据，具有高扩展、可伸缩性，HBase数据库提供了对Hadoop文件的实时检索能力，借助Hadoop能够解决前述对海量数据的实时检索过程中存在的技术问题。但是，虽然Hadoop在互联网行业已经广泛应用，但是Hadoop技术在地理信息系统行业的成功应用还不多，特别是在激光雷达领域，Hadoop处理激光雷达数据的主要困难在于：1.Hadoop典型应用为对文本信息的处理，对地理信息数据的处理应用还没有实现无缝集成。例如：无法实现基于地理位置的数据分割和并行处理；2.业内三维建模算法很多是通过c++、java以及Matlab编程语言实现。特别是Matlab因为包含很多成熟的图像处理、机器学习等数据建模和处理算法在本领域中被广泛使用。Hadoop Streaming虽然实现了Python、C++、Shell等不同编程语言对Hadoop集群数据的访问，但是无法实现Matlab对集群数据的访问；3.基于空间信息的检索不同于基于文本的检索，HBase目前没有支持空间实时检索的功能。

发明内容

本发明的目的是针对上述问题，提供一种方法简单，数据处理效率高的点云数据存储、并行计算和实时检索的方法；

本发明的另一目的是针对上述技术问题，提供一基于点云数据存储、并行计算和实时检索的方法的点云数据存储、并行计算和实时检索的系统。

为达到上述目的，本发明采用了下列技术方案：

一种点云数据存储、并行计算和实时检索的方法，其特征在于，包括以下步骤：

S1：数据存储，包括从客户端读取点云数据并将点云数据写入Hadoop HDFS分布式文件系统中；

S2：数据并行计算，包括通过数据划分模块将点云数据按照地理位置划分为若干子区域数据后将每个子区域数据传入Hadoop集群的计算节点以对点云数据进行信息抽取；

S3：数据实时检索，包括把Hadoop集群的点云数据导入至HBase数据库中，并基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase Region Server中进行并行检索。

通过上述技术方案，能够实现基于地理位置的数据分割和并行处理，使HBase支持空间实时检索的功能，使Hadoop能够克服有效快速地处理激光雷达数据。

在上述的点云数据存储、并行计算和实时检索的方法中，在步骤S1中，每份点云数据文件写入Hadoop集群中的多个不同的数据节点，且每个数据节点对应有至少一个物理服务器。

在上述的点云数据存储、并行计算和实时检索的方法中，在步骤S2中，在进行数据并行计算的过程中，还执行以下步骤：

通过通信模块分发不同编程语言的代码到Hadoop集群的计算节点以用于信息提取；