[发明专利]用于无人车的3D目标检测方法、装置和计算可读存储介质在审
申请号: | 202111158130.4 | 申请日: | 2021-09-30 |
公开(公告)号: | CN113887407A | 公开(公告)日: | 2022-01-04 |
发明(设计)人: | 钱磊;郭波;罗壮;张海强;李成军 | 申请(专利权)人: | 智道网联科技(北京)有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京中知君达知识产权代理有限公司 11769 | 代理人: | 李辰;黄启法 |
地址: | 100013 北京市东*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 无人 目标 检测 方法 装置 计算 可读 存储 介质 | ||
1.一种用于无人车的3D目标检测方法,其特征在于,包括:
根据所述无人车的单目摄像头获取原始图像;
通过预先训练的目标检测模型,得到所述原始图像中目标检测结果,所述目标检测模型至少包括预设分类分支网络和预设回归分支网络,所述预设分类分支网络用于获得目标在二维图像中的位置信息,所述预设回归分支网络中增设CoordConv卷积模块,用以获得目标的三维信息;
通过所述目标检测结果中所述预设分类分支网络中多个目标的置信度,确定在所述预设分类分支网络中多个目标的目标位置;
根据所述目标位置,确定在所述预设回归分支网络中与所述目标位置对应的特征向量;
将所述特征向量解析之后,得到在所述原始图像中多个目标的三维信息,所述三维信息至少包括如下之一:所述目标的深度信息、目标尺寸和目标航向角信息。
2.根据权利要求1所述的用于无人车的3D目标检测方法,其特征在于,所述目标检测模型还包括主干网络,所述通过所述目标检测结果中所述预设分类分支网络中多个目标的置信度,确定在所述预设分类分支网络中多个目标的目标位置,包括:
采用所述预设分类分支网络对所述主干网络输出的二维预处理图像进行至少一次卷积操作,生成目标位置热力图,所述目标位置热力图中每个目标的热力值正比于所述每个目标在所述预设分类分支网络中的置信度;
比较所述每个目标在所述预设分类分支网络中的置信度与预设阈值,将所述置信度大于所述预设阈值的多个目标的位置确定为所述多个目标的目标位置。
3.根据权利要求2所述的用于无人车的3D目标检测方法,其特征在于,所述根据所述目标位置,确定在所述预设回归分支网络中与所述目标位置对应的特征向量,包括:
在所述预设回归分支网络对所述二维预处理图像进行卷积操作过程中增添两个通道,回归得到回归特征图,所述两个通道分别包含初次特征图上特征点的横坐标和纵坐标,所述初次特征图为所述预设回归分支网络在初次对所述二维预处理图像进行卷积操作所得特征图;
从所述回归特征图提取所述回归特征图上与所述目标位置对应的特征向量。
4.根据权利要求3所述的用于无人车的3D目标检测方法,其特征在于,所述在所述预设回归分支网络对所述二维预处理图像进行卷积操作过程中增添两个通道,回归得到回归特征图,包括:
通过所述预设回归分支网络对所述二维预处理图像进行初次卷积操作,得到所述初次特征图;
在所述初次特征图上增添所述两个通道后,所述预设回归分支网络对所述增添所述两个通道后的初次特征图再次进行卷积操作,得到第二特征图;
对所述第二特征图进行至少两次卷积操作,得到所述回归特征图。
5.根据权利要求3所述的用于无人车的3D目标检测方法,其特征在于,所述从所述回归特征图提取所述回归特征图上与所述目标位置对应的特征向量,包括:对于所述回归特征图上与所述目标位置对应的特征向量,均提取一个n维特征向量,所述n为不小于8的自然数。
6.根据权利要求4所述的用于无人车的3D目标检测方法,其特征在于,所述n等于8,所述将所述特征向量解析之后,得到在所述原始图像中多个目标的三维信息,包括:
对于所述多个目标中任意一个目标Ok对应的8维特征向量,使用所述8维特征向量中第1维度的分量估算所述目标Ok的深度值;
使用所述8维特征向量中第2维度和第3维度的分量,并结合所述视觉设备的内参估算所述目标Ok在三维空间的位置信息;
使用所述8维特征向量中第4维度、第5维度和第6维度的分量估算所述目标Ok的三维尺寸;
使用所述8维特征向量中第7维度和第8维度的分量估算所述目标Ok的偏航角。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于智道网联科技(北京)有限公司,未经智道网联科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111158130.4/1.html,转载请声明来源钻瓜专利网。