[发明专利]一种基于PointNet的点云实例分割方法及系统有效
申请号: | 201910820019.3 | 申请日: | 2019-08-31 |
公开(公告)号: | CN110660062B | 公开(公告)日: | 2022-10-18 |
发明(设计)人: | 潘琳琳;孔慧 | 申请(专利权)人: | 南京理工大学 |
主分类号: | G06T7/10 | 分类号: | G06T7/10 |
代理公司: | 南京理工大学专利中心 32203 | 代理人: | 马鲁晋 |
地址: | 210094 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 pointnet 实例 分割 方法 系统 | ||
1.一种基于PointNet的点云实例分割方法,其特征在于,包括如下步骤:
步骤1、进行点云数据预处理,包括分块、采样、平移和归一化操作;
步骤2、训练PointNet神经网络,提取点云特征矩阵;
步骤3、训练相似网络、置信网络和语义分割网络,确定特征矩阵的相似矩阵、置信度矩阵和语义分割矩阵;
步骤4、根据相似网络和置信网络确定有效的分割实例组,去噪去重后得到完整的分割实例物体;
步骤3中,三个网络具体为:
a、相似网络设计
特征矩阵F经过一层128维的MLP得到特征矩阵FSIM,相似矩阵S,需要在特征矩阵FSIM的基础上进行计算,记点对{Pi,Pj}在特征矩阵FSIM中对应的特征向量为{FSIMi,FSIMj},则相似矩阵S中每个元素为:Sij=||FSIMi-FSIMj||2,表示点Pi和Pj在特征空间上的欧氏距离即特征相似度,距离越小特征相似度越高,当Sij小于设定阈值时,则认为点Pi和Pj在特征空间上有着高相似度,属于同一个候选的分割实例组;
设计相似网络的损失函数LSIM,首先需要给点对{Pi,Pj}定义如下三种潜在的情况:
1、Pi和Pj属于同一实例类别;
2、Pi和Pj属于相同语义但不同实例类别;
3、Pi和Pj属于不同语义类别;
直观上,满足情况1的点对欧式距离应小于满足情况2的点对欧式距离;满足情况2的点对欧式距离应小于满足情况3的点对欧式距离;
受到Triplet损失函数的启发,基于相似矩阵设计如下Double-Triplet损失函数:
分别表示属于情况1、情况2和情况3的点对集合,[·]+表示函数max(0,·),α、m1、m2均是常量,α1,m1m2;
b、置信网络设计
特征矩阵F分别经过一层128维和一层1维的MLP得到特征矩阵FCM,置信度矩阵CM,就是大小为Mp×1的特征矩阵FCM,用来给每个候选的分割实例组一个置信度,置信度高于某个阈值时,则认为是有效的分割实例组,删减低于这个阈值的分割实例组,一般来说,两个不同分割实例的边界区域置信度很低,同一个分割实例的置信度较高;
设计置信网络的损失函数LCF,首先需要根据点云数据的真实标签类别获得与相似矩阵S相同大小的相似真值矩阵G,G是相似矩阵S的标签;每个元素Gij都用one-hot码表示,点Pi和Pj属于相同类别的记为1,不同类别记为0,如果点Pi是背景点,不属于任何物体,那么Gi那一行的值都为0;之后计算S和G之间的IoU值得到置信度真值矩阵CF,同样地,CF是置信度矩阵CM的标签,每个元素CFi的计算公式如下:
其中,1{·}为指示函数;
损失函数LCF由置信度矩阵CM和置信度真值矩阵CF之间的L2损失计算得到,公式如下:
c、语义分割网络设计
特征矩阵F分别经过一层128维和一层NC维的MLP得到特征矩阵FSEM,NC为语义分割类别数,语义分割矩阵MSEM,就是大小为Np×NC的特征矩阵FSEM,语义分割矩阵中的每个元素表示点Pi属于语义类别Cj的概率;
语义分割网络的损失函数LSEM,通过计算语义分割矩阵中每行元素的交叉熵损失的加权和得到,如公式(7)所示:
ac(Cj)=medianfreq/freq(Cj) (8)
其中,1{·}为指示函数,yi是点Pi的语义类别,公式(8)中的ac(Cj)用来给损失函数加权,freq(Cj)表示属于类别Cj的总点数,medianfreq表示所有freq(Cj)的中位数;
网络训练时,优化整个系统网络的损失函数和:L=LSIM+LCF+LSEM,输出损失函数和最小的网络结构;
步骤4中,将相似矩阵产生的候选的分割实例组经过置信矩阵的删减后得到了若干有效的分割实例组;由于有效的分割实例组依然存在较多的噪声和重叠组,因此首先删除组内点数小于20的分割实例组,用来去除噪声,之后使用非极大值抑制的方法,得到没有重叠的分割实例组,即得完整的分割实例物体。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京理工大学,未经南京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910820019.3/1.html,转载请声明来源钻瓜专利网。