[发明专利]基于PointNet网络点云分割及虚拟环境生成方法和装置

说明书

本发明公开一种基于PointNet网络点云分割及虚拟环境生成方法和装置，包括：获取虚拟环境中待处理数据集中的点云；采用改进的PointNet网络对所述点云进行点云语义分割；根据语义分割后的点云，在虚拟环境中将物体替换为具有物理属性的虚拟模型，生成包含所有物理属性的虚拟对象。采用本发明的技术方案，以解决由于点云数量庞大，使得实时数据传输及环境重建变得比较困难，且在点云环境中，操作者对环境中的物体辨别困难的问题。

技术领域

本发明属于虚拟呈现技术领域，尤其涉及一种基于PointNet网络点云分割及虚拟环境生成方法和装置。

背景技术

随着传感器技术的发展，基于激光雷达、深度相机等传感器被广泛应用于自动驾驶、远程操作及虚拟现实等领域。由于三维深度信息能够捕获环境的深度信息，因此基于三维点云数据的环境呈现对于操作者理解周围环境(譬如，车辆周围环境)有很大的帮助。通过点云进行三维环境重构可以提高操作者对环境的感知能力，但由于点云数量庞大，使得实时数据传输及环境重建变得比较困难，且在点云环境中，操作者对环境中的物体可能会出现辨别困难的情况。

发明内容

本发明针对以上技术问题是，提供一种基于PointNet网络点云分割及虚拟环境生成方法和装置。

为实现上述目的，本发明采用如下的技术方案：

一种基于PointNet网络点云分割及虚拟环境生成方法，包括：

步骤S1、获取虚拟环境中待处理数据集中的点云；

步骤S2、采用改进的PointNet网络对所述点云进行点云语义分割；

步骤S3、根据语义分割后的点云，在虚拟环境中将物体替换为具有物理属性的虚拟模型，生成包含所有物理属性的虚拟对象。

作为优选，所述数据集为三栋建筑物中的六个室内场景，共有十一种房间类型，分别为会议室、休息室、礼堂、厕所、复印室、休息室、存储室、走廊、储藏室、办公室、大堂以及开放空间；数据集的语义类别分别为天花板、椅子、门、地板、桌子、墙、梁、柱、窗、沙发、书架、木板、杂物；数据集中的点云包含坐标位置信息XYZ和颜色信息RGB。

作为优选，所述PointNet网络的结构如图2所示，包括：第一T-Net层、第二T-Net层、多个感知机MLP以及特征融合层。

作为优选，改进的PointNet网络结构分为特征提取和点云语义分割两个部分，其中，

所述特征提取过程为：通过对点云局部特征的提取实现全局特征提取，具体为：获取n个点云的d维特征，其包含空间坐标值、色彩信息以及点的法线信息；通过不断地对点云的局部特征进行分类和学习，最终经过最大池化处理获得全局特征的提取；

所述点云语义分割过程为：将所述局部特征与所述全局特征进行拼接，并通过多层的MLP进行降维处理，最终对点云的类别做出预测，从而实现点云的分割。

作为优选，通过改进的PointNet网络结构实现点云语义分割包括以下步骤：

步骤21、通过第一T-Net层对待处理数据集中点云进行位置对齐；

步骤22、通过MLP将点云局部特征的维度从3维升到64维；

步骤23、通过第二T-Net层对点云进行特征对齐；

步骤24、通过MLP将点云局部特征的维度从64维升至128维，再升为1024维；

步骤25、通过最大值对称函数对点云进行池化处理，获得点云全局特征；

步骤26、通过特征融合层将点云全局特征与点云局部特征进行拼接；

步骤27、通过MLP对拼接后的点云特征进行降维处理，实现点云的语义分割。