[发明专利]三维全卷积网络实现方法、设备及电子设备

说明书

本发明实施例提供一种三维全卷积网络实现方法、三维全卷积网络实现设备及电子设备，该方法包括：接收初始点云信息，该初始点云信息采用树状存储结构；以及对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。由于3D环境中包含丰富的集合特性信息，传统的基于视觉的解决方法无法有效的对3D场景进行实时分析，本发明实施例提出一种基于树型结构树的3D卷积方案，可完成对与3D点云环境的语义分类，提高对于3D环境的理解。

技术领域

本发明涉及计算机领域，具体地，涉及一种三维全卷积网络实现方法、三维全卷积网络实现设备及电子设备。

背景技术

近几年来，随着深度学习的不断发展，图像领域中的目标检测、目标识别、场景分割、场景理解等问题上已经取得了巨大的突破，但是针对于目前的深度学习框架基本都是基于2D信息，针对于3D数据(基于深度信息的3D数据或者基于激光点云的3D信息)的研究工作还比较少，其中一种比较关键的问题是针对于3D数据的卷积操作的计算复杂度要远远大于2D数据的卷积操作。

以ImageNet为例，如果在第一层卷积网络的输入图片的规格为244×244×3(3通道RGB)，输出为96×7×7(96个滤波器，7x7的卷积核)，则其所需要的操作数为96×(224/2)×(224/2)；对于同样边大小的三维数据224×224×224×3(每个点三个通道RGB)，输出为96×7×7×7，则其所需要的操作为96×(224/2)×(224/2)×(224/2)，是二维空间卷积计算的112倍。对于ImageNet的Model C模型，二维卷积网络总共所需要的操作约为5.3x10¹⁰次计算，三维卷积所需要的计算约为6.1x10¹²。但是针对于无人车环境感知的3D点云数据，取50m x50m x10m的三维空间，栅格分辨率取0.1m，则对应的数据大小为500×500×100(不考虑颜色信息)，这样带来的计算复杂度远不能满足实时性的要求。

发明内容

本发明实施例的目的是提供一种三维全卷积网络实现方法、三维全卷积网络实现设备及电子设备，其可针对上述背景技术中所提及的一个或多个问题，给出解决方案，实现云端地图更新。

为了实现上述目的，本发明一实施例提供一种三维全卷积网络实现方法，该方法包括：接收初始点云信息，该初始点云信息采用树状存储结构；以及对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算，以得到含有若干类类型信息的反体积像素预测信息。

可选的，所述点云信息采用八叉树存储结构。

可选的，所述对该初始点云信息进行通过所述三维全卷积网络的多层卷积及全卷积运算包含：在所述初始点云信息内查找非空子节点及其相邻子节点的信息；以及对查找得到的信息进行3D卷积核计算。

可选的，对查找得到的信息进行3D卷积核计算包含：对查找得到的N×N×N的节点信息，通过以下公式计算得到卷积结果：

其中，I(m,i)表示八叉树地图第m层的第i个子节点，D(I(m,j),I(m,i))表示空间中节点I(m,j)与节点I(m,i)之间欧氏距离，S(m,i)表示以I(m,i)为中心，边长为N的立方体节点集合，C(m,i)表示节点I(m,j)所对应的卷积计算结果，K为大小为N³的卷积核。

可选的，在对查找得到的信息进行3D卷积核计算之后，该方法还包括：对所述卷积结果以向父节点回溯的方式进行下采样。

可选的，在所述初始点云信息内查找非空子节点及其相邻子节点的信息之前，该方法还包括：对所述初始点云信息按照以下公式进行滤波处理：