[发明专利]一种场景语义分割方法、装置、电子设备

说明书

本发明公开了一种场景语义分割方法、装置、电子设备，该方法包括：如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；如果所述有效体素块细分后下一体素块粒度小于等于所述粒度阈值，则根据所述下一分割点云添加语义标签作为场景语义分割结果；如果所述有效体素块细分后下一体素块粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果。本发明实施例在场景不同粒度下有足够上下文信息进行整合，减少计算复杂度。

技术领域

本发明实施例涉及计算机技术，尤其涉及种场景语义分割方法、装置、电子设备。

背景技术

随着自动驾驶、机器人、虚拟现实等技术领域的发展，对三维数据的处理与理解的要求逐渐提高。与已经取得很大成功的二维图像处理与理解不同，三维数据由于本身不具有二维图像有效的正则化的格点表达形式，给卷积神经网络的直接应用带来了很大的不便。

现有的技术手段主要有基于点的多层感知机或卷积网络的方法、基于图的方法以及基于体素的方法等。而处于室外大场景的三维数据的语义理解对这个问题提出了新的挑战，百万乃至上亿级别的点云数量要求处理方法需要拥有良好的计算复杂度，可以层级化的理解场景中不同尺度大小的对象。基于点的多层感知机方法起源于PointNet，可以有效的对目标点云形成特征表达。

但其全局池化操作不利于有效利用上下文信息，改进的多种点卷积方法存在K近邻查找和连续值卷积核计算的复杂度高等问题，且降采样时容易导致小目标物体难以被识别。基于图的方法将场景预分割为点集并构建超点图，利用图网络等方式进行处理，在超点图构建上复杂度高。基于体素的方法将场景离散化为体素表征，但是随着分辨率的提高，体素数量呈三次增长，巨量的存储和计算量使其不利于直接应用在大场景的大量级点云处理中。

发明内容

本发明提供一种图像处理方法、装置、电子设备，以实现精细结构不同的采样粒度的下拥有足够的上下文信息进行信息整合，减少计算的复杂度。

第一方面，本发明实施例提供了一种场景语义分割方法，该包括：

如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云；

如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果；

如果所述体素块中有效体素块细分后的下一体素块的粒度大于所述粒度阈值，则根据所述下一体素块特征和下一分割点云特征，得到新下一分割点云；直至所述下一体素块中有效体素块细分后的新下一体素块的粒度小于等于所述粒度阈值，则将所述新下一分割点云添加语义标签作为场景语义分割结果。

进一步的，所述如果场景原始点云对应体素块的粒度大于粒度阈值，则根据所述体素块特征和原始点云特征，得到下一分割点云，包括：

如果场景原始点云对应体素块的粒度大于粒度阈值，则所述体素块体素化后进行稀疏卷积得到所述体素特征叠加在所述原始点云经多层感知机得到所述原始点云特征上，得到下一分割点云。

进一步的，所述如果所述体素块中有效体素块细分后的下一体素块的粒度小于等于所述粒度阈值，则将所述下一分割点云添加语义标签作为场景语义分割结果之前，包括：

将所述下一体素块对应点云输入语义复杂度预测网络，得到所述下一体素块的复杂度；

如果所述下一体素块的复杂度小于预设复杂度阈值，则将所述下一体素块添加无效标签；

如果所述下一体素块的复杂度大于预设复杂度阈值，则将所述下一体素块添加有效标签。