[发明专利]一种基于对称点生成的点云3D目标检测方法在审
申请号: | 202011501459.1 | 申请日: | 2020-12-18 |
公开(公告)号: | CN112598635A | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 邹炼;范赐恩;金伟正;陈庆生;李晓鹏;李方玉 | 申请(专利权)人: | 武汉大学 |
主分类号: | G06T7/00 | 分类号: | G06T7/00;G06T5/00;G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人: | 许莲英 |
地址: | 430072 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 对称 生成 目标 检测 方法 | ||
1.一种基于对称点生成的点云3D目标检测方法,其特征在于,包括以下步骤:
步骤1:过滤点云并体素化检测空间,计算对称点生成模块的输入即体素初始特征,生成前景点标签,生成对称点相对于前景点的位置偏移标签;
步骤2:搭建对称点生成模块,构造对称点生成模块中编码器、解码器,为对称点生成模块分别添加分类头和回归头,构建前景点分割任务的损失函数、对称点预测任务的损失函数,进一步构建对称点生成模块的损失函数;
步骤3:通过对称点生成模块预测的对称点相对于前景点的位置偏移,将预测的对称点组成对称点集,结合对称点集与体素中心点集生成增强点云;
步骤4:定义区域提案网络,构建区域提案网络中骨干网络,构建区域提案网络中检测头,构建区域提案网络网络的损失函数;
步骤5:使用点云网络训练集进行训练,通过步骤1的点云数据处理得到初始体素特征,接着通过步骤2的对称点生成模块得到前景点对应的对称点,然后通过步骤3将非空体素中心点与对称点组成增强点云,最后通过步骤4的区域提案网络得到最终的物体检测框,结合综合点云网络的损失函数,使用点云网络训练集中进行训练得到寻优化网络参数,用于构建训练后点云网络;
步骤6:将待检测场景的点云数据输入训练后的点云网络,进行3D检测框预测,得待检测场景中目标的3D检测框。
2.根据权利要求1所述的基于对称点生成的点云3D目标检测方法,其特征在于:
步骤1所述过滤点云并体素化检测空间为:
原始点云为:
其中,表示第i个点的坐标,分别表示第i个点的x轴坐标、y轴坐标、z轴坐标,过滤掉原始点云中不在检测范围内的点,所述检测范围为
则过滤后的点云为其中Oj表示检测范围空间内第j个点的坐标,分别表示检测范围空间内第j个点的x轴坐标、y轴坐标、z轴坐标;
之后对检测范围空间进行体素化,体素尺寸为wv×lv×hv,wv,lv,hv分别表示体素的宽长高,则体素中心点集合为:
其中,V(k,m,n)表示x轴方向上第k个、y轴方向上第m个、z轴方向上第n个体素中心点的坐标,具体计算公式如下:
体素化后的空间分辨率为W×L×H;体素中心点集合也可以简化表示成如下形式其中Vi表示第i个体素中心点,N3=W×L×H;
步骤1所述计算对称点生成模块的输入即体素初始特征为:
坐标为(k,m,n)的体素的初始特征f(k,m,n)为落在其内部的点的坐标平均值,具体计算公式如下:
其中N(k,m,n)表示落在坐标为(k,m,n)的体素内点的数量,Oq表示落在坐标为(k,m,n)的体素内第q个的坐标,因此所述体素初始特征为:
F={f(k,m,n)|k∈[1,W],m∈[1,L],n∈[1,H],k,m,n∈Z}
其中,所述F的空间分辨率也为W×L×H,其张量表示形式为[W L H 3];
步骤1所述生成前景点标签为:
所谓前景点就是落在3D标注框内部的体素中心点,用(px,py,pz)表示前景点坐标,其标签s为1,数量为Npos;落在3D标注框内部的体素中心点被称作背景点,其标签s=0;
用(xg,yg,zg,wg,lg,hg,θg)表示3D标注框,其中(xg,yg,zg)表示3D标注框的中心点坐标,wg,lg,hg表示3D标注框的宽长高,θg表示俯视视角下的旋转角;
步骤1生成对称点相对于前景点的位置偏移标签为:
首先使用下面公式计算出前景点在3D标注框内的对称点:
其中(rx,ry,rz)表示前景点在3D框中的相对位置坐标;接着可以计算出对称点的相对位置坐标(1-rx,ry,rz),最后利用下面公式计算出对称点的位置标签(px′,py′,pz′)
tx′=(1-rx)w-0.5,ty′=ryl-0.5,pz′=rzh-0.5+cz
则对称点相对于前景点的位置偏移标签为ΔP=(px′-px,py′-py);其中公式出现的变量含义已在前述给出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉大学,未经武汉大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011501459.1/1.html,转载请声明来源钻瓜专利网。