[发明专利]图卷积网络系统和基于图卷积网络系统的3D物体检测方法

权利要求书

1.一种图卷积网络系统，其特征在于，所述图卷积网络系统用于3D物体检测，包括：

形状语义提取模块，用于接收图像的点云特征，建模所述点云特征中点的几何位置，获得全局语义特征；

多层感知器，与所述形状语义提取模块连接，用于基于所述全局语义特征，利用多层图卷积神经网络提取多级语义特征，并使用注意力机制来过滤所述多级语义特征；

提案生成器，与所述多层感知器连接，用于汇总过滤后的多级语义特征，加权生成至少一个初级提案；

提案推理模块，与所述提案生成器连接，用于利用所述全局语义特征和所述至少一个初级提案预测所述图像中物体的3D边界框和语义类别；

其中，所述形状语义提取模块包括：

快速搜索聚类CFDP模块，用于接收所述点云特征，并使用CFDP算法对所述点云特征中的特征点进行聚类，获得多个聚类中心；

k近邻模块，与所述CFDP模块连接，用于根据所述多个聚类中心，利用k近邻关系构建关于点的几何位置的多个局部区域；

注意力聚合模块，用于将所述聚类中心以及所述聚类中心对应的局部区域中的其他点，自适应地聚合点特征，得到所述全局语义特征；

所述注意力聚合模块是用于：

将所述聚类中心以及所述聚类中心对应的局部区域中的其他点自适应地聚合点特征，生成相对位置信息；

根据所述聚类中心对应的局部区域中所有的点，构建使用注意力机制的聚合方法：

（1）

其中，表示所述全局语义特征，表示相对几何位置建模函数，表示点特征处理函数，表示为所述聚类中心的点特征，表示所述聚类中心对应的局部区域中的点特征，和分别表示和的位置信息。

2.如权利要求1所述的图卷积网络系统，其特征在于，

所述多层感知器包括：所述多层图卷积神经网络和多个自适应聚合模块，其中，第一层图卷积神经网络与所述形状语义提取模块连接，每两层图卷积神经网络之间连接有一个自适应模块；

所述多层图卷积神经网络用于提取所述多级语义特征；

所述自适应聚合模块用于使用注意力机制，对前一层图卷积神经网络输出的语义特征进行过滤，将过滤后的语义特征输入后一层图卷积神经网络。

3.如权利要求2所述的图卷积网络系统，其特征在于，

所述注意力机制为公式（1）表示的聚合方法；

所述自适应聚合模块是用于：对于聚合中心点，聚合对应的局部区域中的其他点的特征来更新的特征。

4.如权利要求3所述的图卷积网络系统，其特征在于，所述提案生成器与所述多层图卷积神经网络中的每一层连接，所述提案生成器是用于：

使用投票模块将过滤后的多级语义特征转换到相同的特征空间，其中，所述投票模块使用的函数为：

（2）

其中， 表示所述多层感知器所设计使用的自适应的聚合方法，表示自适应聚合前的语义特征和相对位置，表示通过得到的语义特征的偏移量和相对位置的偏移量，表示自适应聚合后的语义特征和相对位置；

使用VoteNet方法，将生成所述至少一个初级提案。

5.如权利要求4所述的图卷积网络系统，其特征在于，所述提案推理模块是用于：

利用公式整合所有的局部信息，其中，P表示所有局部信息的相对位置，F表示所述至少一个初级提案，表示整合后的信息；整合操作包括：沿顶点方向和通道方向对特征信息进行整合、考虑提案之间相对位置的整合以及Hadamard内积操作；

使用VoteNet方法，通过预测所述3D边界框和语义类别。

6.一种基于图卷积网络系统的3D物体检测方法，其特征在于，包括：

S10：获取训练数据集，其中，所述训练数据集中包括多个训练数据，每个训练数据为一个图像的点云特征；对每个训练数据进行物体的3D边界框标注和语义类别标注；

S20：构建如权利要求1-5任意一项所述的图卷积网络系统；

S30：利用所述训练数据集对所述图卷积网络系统进行训练；

S40：采集待预测图像的点云特征，将所述待预测图像的点云特征输入训练好的图卷积网络系统，得到所述待预测图像中物体的3D边界框和语义类别。