[发明专利]图卷积网络系统和基于图卷积网络系统的3D物体检测方法

说明书

本发明公开了一种图卷积网络系统和基于图卷积网络系统的3D物体检测方法。所述系统包括：形状语义提取模块，用于建模图像的点云特征中点的几何位置；多层感知器，与形状语义提取模块连接，用于利用多层图卷积神经网络提取多级语义特征，并使用注意力机制来过滤多级语义特征；提案生成器，与多层感知器连接，用于汇总多级语义特征，加权生成初级提案；提案推理模块，与提案生成器连接，用于利用全局语义特征和初级提案预测图像中物体的3D边界框和语义类别。本发明有效增益整个图卷积网络系统的检测性能，提高了3D物体检测的精度，使得深度网络的可解释性更强。

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种图卷积网络系统和基于图卷积网络系统的3D物体检测方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着科学技术的发展，人们迫切需要利用计算机资源来感知世界、认识世界，由此为人们的生活提供更多的便利。由于眼睛、鼻子和耳朵等身体器官的存在,人类感知世界的方式有视觉、嗅觉、听觉等，其中，视觉信息占人类外界获取的信息中的百分之八十以上。就像眼睛之于人体一样，机器视觉这一学科在机器智能领域发挥着举足轻重的作用。目标检测作为机器视觉学科的传统课题之一，尤其是复杂场景下的目标检测，一直是研究人员的重点研究方向。

目标检测是计算机视觉领域的传统任务。与图像识别不同，目标检测不仅需要识别出图像上存在的物体，给出对应的类别，还需要将该物体通过边界框（Bounding box）进行定位。2D目标检测一般是在RGB图像中对可变数量的目标进行查找和分类，并在图像上使用2D 边界框标明。目前大多数研究都集中于2D对象预测，通过将预测扩展到3D，人们可以捕获物体在世界上的大小、位置和方向，从而在机器人技术，自动驾驶汽车，机器人视觉，图像检索和增强现实多种应用场景下发挥作用。

3D目标检测是使用RGB图像、RGB-D深度图像和激光点云等信息，输出物体语义类别及在三维空间中的长宽高、旋转角等信息的检测技术。尽管2D对象检测相对成熟并且已在行业中广泛使用，但是由于缺乏数据以及语义类别中对象的外观和形状的多样性，从2D图像进行3D对象检测仍然是一个具有挑战性的问题。

发明内容

为解决现有技术中存在的上述问题，本发明提供一种图卷积网络系统和基于图卷积网络系统的3D物体检测方法，通过多尺度注意力机制的图卷积对3D点云进行处理，提高对图像在三维空间进行的目标检测的精度。

第一方面，本发明实施例提供了一种图卷积网络系统一种图卷积网络系统，包括：

形状语义提取模块，用于接收图像的点云特征，建模所述点云特征中点的几何位置，获得全局语义特征；

多层感知器，与所述形状语义提取模块连接，用于基于所述全局语义特征，利用多层图卷积神经网络提取多级语义特征，并使用注意力机制来过滤所述多级语义特征；

提案生成器，与所述多层感知器连接，用于汇总过滤后的多级语义特征，加权生成至少一个初级提案；

提案推理模块，与所述提案生成器连接，用于利用全局语义特征和所述至少一个初级提案预测所述图像中物体的3D边界框和语义类别。

在一实施例中，所述形状语义提取模块包括：

快速搜索聚类（Clustering By Fast Search And Find Of Density Peaksd，CFDP）模块，用于接收所述点云特征，并使用CFDP算法对所述点云特征中的特征点进行聚类，获得多个聚类中心；

k近邻模块，与所述CFDP模块连接，用于根据所述多个聚类中心，利用k近邻关系构建关于点的几何位置的多个局部区域；

注意力聚合模块，用于将所述聚类中心以及所述聚类中心对应的局部区域中的其他点，自适应地聚合点特征，得到所述全局语义特征。