[发明专利]多模态3D目标检测方法、系统、终端及介质在审

专利信息
申请号: 202110263197.8 申请日: 2021-03-11
公开(公告)号: CN112990229A 公开(公告)日: 2021-06-18
发明(设计)人: 马超 申请(专利权)人: 上海交通大学
主分类号: G06K9/46 分类号: G06K9/46;G06K9/62
代理公司: 上海恒慧知识产权代理事务所(特殊普通合伙) 31317 代理人: 刘翠
地址: 200240 *** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 多模态 目标 检测 方法 系统 终端 介质
【说明书】:

本发明提供了一种多模态3D目标检测方法及系统,分别提取原始图像I和对应的LiDAR点云L的特征;将所述原始图像I和对应的LiDAR点云L的特征进行点和像素的特征融合,形成LiDAR点云特征,将所述原始图像I的特征作为图像特征,分别生成3D区域提议和2D区域提议;分别从所述3D区域提议和2D区域提议内提取特征并进行融合,生成最终的3D目标检测结果。同时提供了一种相应的终端及介质。本发明利用模态之间的几何约束关系和特征关联性完成目标检测;通过第一阶段的点‑像素级别和第二阶段的区域提议级别的特征融合,完成了3D目标检测任务;利用图像和LiDAR点云之间的几何约束,生成高质量的区域提议。

技术领域

本发明涉及的是一种3D目标检测方法,具体涉及的是一种基于深度网络的多模态3D目标检测方法、系统、终端及介质。

背景技术

目标检测是计算机视觉领域的重要方向,并且具有广泛的应用前景和市场价值。随着各种传感器技术和汽车技术的发展,3D目标检测在自动驾驶领域中的作用开始逐渐显现。自动驾驶中的3D目标检测任务最普遍使用的传感器包括相机和激光雷达,对应的数据类型分别为图像和LiDAR点云。由于图像和LiDAR点云这两种模态之间信息的互补性,以及逐渐降低的激光雷达价格,所以基于多模态的3D目标检测方法逐渐成为国内外研究的重点。

现有的基于多模态的3D目标检测方法主要分为3类:前融合、后融合、深度融合。1.前融合:在输入端进行的融合,通过将不同的模态进行预处理组合成一种新的表示方式;2.后融合:每个模态都被单独和独立地处理直到最后阶段进行结果层面的融合,这种融合方案允许最后的结果来自于单独的模块,因此具有很大的冗余性;3.深度融合:在神经网络中间层分层地融合不同的模态,允许来自不同模态的特征在中间层中交互信息。

然而,由于图像和LiDAR点云在数据格式以及分布上都存在着巨大的差异,国内外专家和学者提出了众多的算法模型融合两种不同的模态。对于深度融合而言,大多都集中在将LiDAR点云投影到2D平面上,然后再与图像信息进行融合。然而,在3D点云投影到2D平面的过程中,不可避免地会产生信息的损失。对于前融合或者后融合而言,融合只发生在输入或者输出端,没有充分利用不同模态数据之间的关联性和互补性。

经过检索发现:

公开号为:CN111860666A,公开日为2020年10月30日的中国发明专利申请《一种基于点云与图像自注意力机制融合的3D目标检测方法》,首先,提出一种基于三维点云的多层三维特征提取方法。然后,提出一种基于图像几何和语义特征投票机制的二维特征提取方法。其次,提出一种几何原则的方法,将二维特征转换到点云的3D检测管道中,并传递到点云结构。最后,提出一种多塔训练方案,优化二维和三维特征梯度融合协同性,并根据融合结果进一步精细化调整。本发明利用相机参数将二维特征提升到三维通道,并用多塔训练方法采用自注意力机制实现二维、三维特征有机梯度融合,克服了固有的基于三维点云稀疏数据检测方法,充分利用图像高分辨率和丰富纹理信息对三维目标检测进行补充优化,来实现精确的三维目标检测。该方法仍然存在如下技术问题:

1、该方法的输入为RGB-D图像,不适用于户外场景的稀疏点云情况。

2、该方法RGB图像候选框的提取与三维点云分支是解耦合的,同时三维点云的分类与RGB图像之间也是解耦的,因此无法充分利用图像与点云之间的互补信息。

公开号为CN110827202A,公开日为2020年02月21日的中国发明专利申请《目标检测方法、装置、计算机设备和存储介质》,获取点云数据以及对应的彩色图像;对所述点云数据以及对应的所述彩色图像进行融合得到融合数据;根据所述融合数据对所述点云数据进行补全得到补全后的点云数据;根据所述融合数据进行目标检测得到中间目标检测结果;从所述补全后的点云数据中,获取所述中间目标检测结果对应的区域的补全后的点云数据;根据所获取的补全后的点云数据,对所述中间目标检测结果进行结果修正得到最终目标检测结果。该方法仍然存在如下技术问题:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110263197.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top