[发明专利]单阶段3D点云目标检测方法及装置、计算机设备、介质在审
申请号: | 202111271651.0 | 申请日: | 2021-10-29 |
公开(公告)号: | CN114155524A | 公开(公告)日: | 2022-03-08 |
发明(设计)人: | 王伟平;李鸿宇;周宇 | 申请(专利权)人: | 中国科学院信息工程研究所 |
主分类号: | G06V20/64 | 分类号: | G06V20/64;G06V20/58;G06V10/762;G06V10/766;G06V10/80;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 司立彬 |
地址: | 100093 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 阶段 目标 检测 方法 装置 计算机 设备 介质 | ||
1.一种单阶段3D点云目标检测方法,其步骤包括:
主干网络的训练阶段:
对于训练样本集中的3D点云,数据增广模块对所述3D点云中目标实例与获取所述3D点云的采样传感器距离不同,设置不同的聚类半径参数对所述3D点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框并将其放入3D立体框集合db_boxes;计算所述3D立体框集合db_boxes每个最小立体包围框与对应目标实例在点云中真实3D立体框gt_boxes的交并比,交并比大于设定阈值的,则将对应最小立体包围框保存到saved_boxes集合内,以及将对应最小立体包围框内的点从所述3D点云中剔除;然后将所述saved_boxes集合内的点进行下采样,得到数据增广后的点云数据;
所述主干网络对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,将提取的语义特征和空间特征输入所述主干网络的掩膜采样模块;
所述掩膜采样模块根据输入的空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样并输入到所述主干网络的特征融合模块;
所述特征融合模块对输入采样点的特征进行解耦处理,得到语义特征和空间信息;将解耦得到的语义特征进行卷积处理得到语义特征的压缩特征并输入到Sigmoid函数,得到语义注意力图;将解耦得到的空间信息进行卷积处理得到空间信息的压缩特征并输入到Sigmoid函数,得到空间注意力图;将语义注意力图、空间注意力图逐位相加,得到压缩注意力图;将该压缩注意力图与输入采样点的特征逐点相乘得到激活后的特征图;调整输入采样点的特征图维度大小使得其与激活后的特征图维度一致后,逐位相加得到融合特征图;
所述主干网络的回归预测网络根据该融合特征图进行预测,得到点云当中目标实例的位置和类别;然后基于预测结果和设定的损失函数对所述主干网络的参数进行更新;
应用阶段:
将待处理3D点云输入训练后的所述主干网络;所述主干网络对所述待处理3D点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,将提取的语义特征和空间特征依次经所述掩膜采样模块、所述特征融合模块进行处理得到一融合特征图;然后所述回归预测网络根据该融合特征图进行预测,得到所述待处理3D点云中目标的位置。
2.根据权利要求1所述的方法,其特征在于,所述掩膜采样模块为特征编码模块和特征解码模块构成的二分类网络。
3.根据权利要求2所述的方法,其特征在于,所述掩膜采样模块将输入的空间特征和语义特征按维度拼接所得特征图输入到特征编码模块中进行下采样,得到不同阶段的下采样特征图;将最后阶段的下采样特征图输入到特征解码模块中进行上采样,将所得阶段的上采样特征图与同阶段的下采样特征图进行拼接后进行后一阶段的上采样,根据最后阶段的上采样特征图与第一阶段的下采样特征图拼接结果预测每个点的预测分数,然后按照预测分数从高到低完成点采样。
4.根据权利要求2或3所述的方法,其特征在于,所述特征编码模块包括依次连接的两个3x3卷积单元,其中每个3x3卷积单元后依次连接有批标准化处理单元、线性修正单元、最大池化下采样单元;所述特征编码模块包括两个2x2转置卷积单元以及两个3x3卷积单元,第一2x2转置卷积单元对所述特征编码模块的输入信息进行处理后输入第一3x3卷积单元,第一3x3卷积单元处理后的信息依次经批标准化处理单元、线性修正单元处理后输入第二3x3卷积单元,第二3x3卷积单元处理后的信息依次经批标准化处理单元、线性修正单元处理后输入第二2x2转置卷积单元。
5.根据权利要求1所述的方法,其特征在于,所述聚类操作为DBSCAN聚类操作。
6.根据权利要求1所述的方法,其特征在于,所述采样传感器为激光雷达传感器。
7.根据权利要求1所述的方法,其特征在于,所述回归预测网络为无锚框回归头部网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所,未经中国科学院信息工程研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111271651.0/1.html,转载请声明来源钻瓜专利网。