[发明专利]一种物体的三维位置检测方法和装置有效
申请号: | 201910138684.4 | 申请日: | 2019-02-25 |
公开(公告)号: | CN109872366B | 公开(公告)日: | 2021-03-12 |
发明(设计)人: | 鲁继文;周杰;刘礼杰 | 申请(专利权)人: | 清华大学 |
主分类号: | G06T7/73 | 分类号: | G06T7/73;G06T7/55 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 物体 三维 位置 检测 方法 装置 | ||
1.一种基于深度拟合程度评估网络的物体三维位置检测方法,其特征在于,所述方法包括以下步骤:
对第一原始图片进行二维物体检测,并对所述原始图片中的各个物体采用检测框进行标注,其中,每个检测框中包含一个物体;
对所述第一原始图片中的各个检测框进行截取,获取各个检测框对应的图像块,并将所述各个检测框对应的图像块分别输入基于锚点的回归模型,确定各个物体对应的朝向和三维尺寸;
根据所述各个物体对应的朝向和三维尺寸,在三维空间中确定各个物体对应的三维长方体,利用紧凑性约束方法确定各个物体对应的三维长方体的基准位置,并对各个物体对应的三维长方体的基准位置进行高斯稠密采样,确定每个物体对应的至少两个候选三维长方体;
将每个物体对应的至少两个候选三维长方体分别投影至所述第一原始图片中,得到包含每个物体对应的至少两个投影三维长方体的第二原始图片,将所述第二原始图片输入深度拟合程度评估网络,将三维覆盖率最大值对应的投影三维长方体作为每个物体对应的目标三维长方体;
根据所述每个物体对应的目标三维长方体,确定每个物体的三维空间位置。
2.根据权利要求1所述的检测方法,其特征在于,所述将所述各个检测框对应的图像块分别输入基于锚点的回归模型,确定各个物体对应的朝向和三维尺寸,包括:
预先对所述基于锚点的回归模型进行训练,使得所述基于锚点的回归模型学习得到图像块和图像块中物体的三维尺寸的对应关系,以及图像块和图像块中物体的朝向的对应关系。
3.根据权利要求2所述的检测方法,其特征在于,所述预先对所述基于锚点的回归模型进行训练,包括:
获取训练样本;
将所述训练样本输入所述基于锚点的回归模型,采用基于锚点的回归算法,对所述基于锚点的回归模型执行训练过程。
4.根据权利要求1所述的检测方法,其特征在于,所述根据所述各个物体对应的朝向和三维尺寸,在三维空间中确定各个物体对应的三维长方体,利用紧凑性约束方法确定各个物体对应的三维长方体的基准位置,并对各个物体对应的三维长方体的基准位置进行高斯稠密采样,确定每个物体对应的至少两个候选三维长方体,包括:
根据所述各个物体对应的朝向和三维尺寸,确定所述各个物体对应的三维长方体的初始位置;
利用紧凑性约束算法确定各个物体对应的三维长方体的基准位置,并将各个物体对应的三维长方体从初始位置平移至基准位置;
针对每个物体对应的三维长方体的基准位置,进行高斯稠密采样,确定所述每个物体对应的至少两个候选三维长方体Si(x+Δxi,y+Δyi,z+Δzi,l,h,w,θ),其中,i表示第i个候选三维长方体,x,y,z表示物体对应的三维长方体的基准位置的三维坐标,l,h,w分别表示物体的长、宽和高,θ表示物体的朝向,Δxi,Δyi,Δzi分别表示第i个候选三维长方体在x轴方向,y轴方向和z轴方向的位移量。
5.根据权利要求1-4任一所述的检测方法,其特征在于,所述将每个物体对应的至少两个候选三维长方体分别投影至所述第一原始图片中,得到包含每个物体对应的至少两个投影三维长方体的第二原始图片,将所述第二原始图片输入深度拟合程度评估网络,将三维覆盖率最大值对应的投影三维长方体作为每个物体对应的目标三维长方体之前,还包括:
获取经过标注的训练样本;
利用所述训练样本,对所述深度拟合程度评估网络进行训练,其中,深度拟合程度评估网络的参数为δ,其中,I表示物体对应的标注的三维长方体,IoU函数用于计算物体对应的标注的三维长方体和候选三维长方体之间的覆盖率。
其中,训练完成的深度拟合程度评估网络学习得到了图片和图片中三维覆盖率最大值对应的候选三维长方体的对应关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910138684.4/1.html,转载请声明来源钻瓜专利网。