[发明专利]一种三维目标分割方法、装置、设备和存储介质在审
申请号: | 202011528603.0 | 申请日: | 2020-12-22 |
公开(公告)号: | CN112529917A | 公开(公告)日: | 2021-03-19 |
发明(设计)人: | 蒋萌;王宇;李锦瑭;王硕;孙雪 | 申请(专利权)人: | 中国第一汽车股份有限公司 |
主分类号: | G06T7/11 | 分类号: | G06T7/11;G06T7/80;G06N3/04;G06N3/08 |
代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
地址: | 130011 吉林省长*** | 国省代码: | 吉林;22 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 三维 目标 分割 方法 装置 设备 存储 介质 | ||
1.一种三维目标分割方法,其特征在于,包括:
利用目标检测方式获取目标对象在待检测图像上的像素点集合;所述目标检测方式为配置目标掩码预测分支的检测网络实现的检测方式;
根据所述像素点集合确定对应的目标空间点集合;
根据所述目标空间点集合对所述待检测图像所对应的三维目标进行分割。
2.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
通过第一标定方式标定相机内部参数,以及通过第二标定方式标定相机与激光雷达之间的外部参数。
3.根据权利要求1所述的方法,其特征在于,所述利用目标检测方式获取目标对象在待检测图像上的像素点集合,包括:
利用卷积神经网络提取待检测图像所对应的特征图;
获取所述特征图上的至少两个感兴趣区域ROI,作为候选ROI;
对所述候选ROI进行筛选,得到目标ROI;
对所述目标ROI进行全卷积神经网络操作,生成每个目标对象对应的掩码;
根据所述掩码和所述待检测图像之间的对应关系,得到目标对象在待检测图像上的像素点集合。
4.根据权利要求2所述的方法,其特征在于,根据所述像素点集合确定对应的目标空间点集合,包括:
根据预先标定的所述相机内部参数,将所述像素点集合转换到相机坐标系下的空间点集合;
根据预先标定的所述相机与激光雷达之间的外部参数,将所述相机坐标系下的空间点集合转换到的目标空间点集合。
5.根据权利要求2所述的方法,其特征在于,所述相机内部参数的标定过程,包括:
启动相机并播放视频流;
在相机的视野范围内移动标定板,直至移动至目标位置为止;
将相机当前的内部参数作为相机的标定参数。
6.根据权利要求2所述的方法,其特征在于,所述相机与激光雷达之间的外部参数的标定过程,包括:
在目标图像中随机查找一个与点云数据中的点相匹配的像素点;
依次点击所述目标图像中的像素点和像素点所对应的3D点,构成一组点对,直至构成预设组数的点对;
根据所述预设组数的点对得到旋转矩阵和平移向量,并作为相机与激光雷达之间的外部参数。
7.根据权利要求3所述的方法,其特征在于,所述对所述候选ROI进行筛选,得到目标ROI,包括:
将所述候选ROI输入至候选区域网络RPN;
利用所述RPN网络对所述候选ROI进行二值分类和包围框回归,得到目标ROI。
8.一种三维目标分割装置,其特征在于,包括:
获取模块,用于利用目标检测方式获取目标对象在待检测图像上的像素点集合;所述目标检测方式为配置目标掩码预测分支的检测网络实现的方式;
确定模块,用于根据所述像素点集合确定对应的目标空间点集合;
分割模块,用于根据所述目标空间点集合对所述待检测图像所对应的三维目标进行分割。
9.一种三维目标分割设备,其特征在于,包括:存储器,以及一个或多个主控制器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个主控制器执行,使得所述一个或多个主控制器实现如权利要求1-7中任一所述的三维目标分割方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的三维目标分割方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国第一汽车股份有限公司,未经中国第一汽车股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011528603.0/1.html,转载请声明来源钻瓜专利网。