[发明专利]一种三维目标检测方法在审
申请号: | 201910673663.2 | 申请日: | 2019-07-24 |
公开(公告)号: | CN110390302A | 公开(公告)日: | 2019-10-29 |
发明(设计)人: | 陈一平;林伟生;李军;王程 | 申请(专利权)人: | 厦门大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/32;G06K9/34;G06N3/04;G06N3/08 |
代理公司: | 厦门致群专利代理事务所(普通合伙) 35224 | 代理人: | 黄华 |
地址: | 361000 福建*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 边界框 检测 二维目标 检测算法 三维目标 视锥体 点云 三维 二维信息 目标检测 三维信息 深度图像 神经网络 原始图像 目标点 回归 遮挡 分割 转化 | ||
本发明公开了一种三维目标检测方法,包括以下步骤:利用二维目标检测算法在原始图像上提取目标的候选边界框;将所述候选边界框对应的深度图像区域转化为视锥体点云;对所述视锥体点云进行实例分割,获得感兴趣的目标点云;通过神经网络回归目标的三维边界框。本发明通过二维目标检测算法提取边界框后再回归到三维边界,能够提升目标检测的速度和精度,检测过程中既可以利用二维信息的特征也可以利用三维信息的特征来检测有遮挡的目标。
技术领域
本发明涉及目标检测技术领域,特别涉及一种三维目标检测方法。
背景技术
相对于二维上语义理解任务,三维上的语义理解任务更具有挑战且很有意义。三维目标检测在自动驾驶以及增强现实中发挥着极其重要的作用。一方面,三维目标检测可以知道目标的大致大小以及位置,对于自动驾驶来说可谓是至关重要;另一方面,在增强现实技术中需要对真实世界和虚拟世界进行结合以及互动时,对于目标的位置变化以及大小的计算尤其重要。在自动驾驶发展道路上急需一种快速且准确的目标检测算法,来保证交通的安全性和智能驾驶的可靠性。
目前,三维目标检测的算法主要基于点云,图像或者深度图像数据以及三维数据的一些重新表示的数据的基础上来处理,主要方法有:通过神经网络分别提取颜色信息和深度信息特征建立模型将二维信息的结果转化三维空间;直接利用三维点云进行目标特征提取以及检测。
近几年,深度学习的发展十分迅速,在二维上利用深度学习进行目标检测的速度和精度等方面都有很大的提升,因此驱动了利用大量数据来进行数理统计的方法来学习潜在特征。相对于二维目标检测,三维目标检测具有更大的挑战且检测精度相对落后,因此如何提高检测的速度以及检测精度是业界需要努力的方向。
发明内容
本发明的目的在于提供一种一种三维目标检测方法,其能够提高检测速度,同时能够提升检测精度。
为实现上述目的,本发明采用以下技术方案:
一种三维目标检测方法,包括以下步骤:
S1、利用二维目标检测算法在原始图像上提取目标的候选边界框;
S2、将所述候选边界框对应的深度图像区域转化为视锥体点云;
S3、对所述视锥体点云进行实例分割,获得感兴趣的目标点云;
S4、通过神经网络回归目标的三维边界框。
进一步地,所述步骤S2包括以下分步骤:
S21、提取所述候选边界框对应的深度图像区域,得到候选区域;
S22、通过相机投影矩阵将候选区域转化为视锥体,并收集所述视锥体内的所有点形成所述视锥体点云。
优选地,所述步骤S3中的实例分割通过以下方法实现:
利用两层EdgeConv卷积网络学习视锥体点云的局部和全局特征,并对每个点进行判断是否属于感兴趣的目标。
进一步地,所述步骤S4包括以下分步骤:
S41、计算所述目标点云的质心坐标值;
S42、将目标点云中的每个点的坐标值减去所述质心坐标值,将目标点云转化为局部坐标系;
S43、针对转化为局部坐标系的目标点云,利用神经回归目标的三维边界框。
优选地,所述步骤S43中的利用神经回归目标的三维边界框通过以下方法实现:
通过T-Net神经网络学习目标点云的质心与目标真实中心的残差,来预测目标的真正中心;预先定义目标的边界框大小以及角度参数,通过边界框网络回归目标的三维边界框大小以及角度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门大学,未经厦门大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910673663.2/2.html,转载请声明来源钻瓜专利网。