[发明专利]一种基于Yolo v4与Tof算法相结合的避障方法有效
申请号: | 202011021879.X | 申请日: | 2020-09-25 |
公开(公告)号: | CN112232139B | 公开(公告)日: | 2022-09-27 |
发明(设计)人: | 周木春;赵晟皓;朱雨婷;沈志耀 | 申请(专利权)人: | 南京理工大学 |
主分类号: | G06V20/58 | 分类号: | G06V20/58;G06V10/82;G06N3/04;B60W30/08 |
代理公司: | 南京理工大学专利中心 32203 | 代理人: | 朱炳斐 |
地址: | 210094 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 yolo v4 tof 算法 相结合 方法 | ||
1.一种基于Yolo v4与Tof算法相结合的避障方法,其特征在于,所述方法包括以下步骤:
步骤1,采集若干种待识别障碍物目标的图像,并标记待识别障碍物目标在图像中的位置以及障碍物目标的类型;
步骤2,利用Yolo v4神经网络对步骤1采集的图像进行训练;
步骤3,采集待避障路径的场景图像,利用训练后的Yolo v4神经网络识别其中的障碍物目标及其类型;
步骤4,求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度;
步骤5,利用激光雷达实时探测场景环境中的各物体信息;
步骤6,基于所述相对角度和步骤5中的各物体信息,获取步骤3中障碍物目标的距离信息;
步骤7,依据障碍物目标的类型、角度和距离信息,对待进行避障的移动平台进行路径规划,实现避障运动。
2.根据权利要求1所述的基于Yolo v4与Tof算法相结合的避障方法,其特征在于,步骤1中采集待识别目标的图像,采用的方式包括:
利用摄像头采集待识别目标的图像;
或者,从已有的数据集中采集待识别目标的图像。
3.根据权利要求2所述的基于Yolo v4与Tof算法相结合的避障方法,其特征在于,步骤1中所述标记待识别障碍物目标在图像中的位置以及障碍物目标的类型,包括标记class_id、x、y、w和h,其中:
class_id:障碍物目标类型的编号,x:目标的中心点的横向坐标/图像总宽度,y:目标的中心点的纵向坐标/图像总高度,w:目标的最小外接矩形的宽度/图像总宽度,h:目标的最小外接矩形的高度/图像总高度。
4.根据权利要求3所述的基于Yolo v4与Tof算法相结合的避障方法,其特征在于,步骤2所述利用Yolo v4神经网络对步骤1采集的图像进行训练,具体过程包括:
步骤2-1,将图像的尺寸统一至Yolo v4神经网络输入图像所要求的尺寸;
步骤2-2,将尺寸变换后的图像输入至Yolo v4神经网络,提取图像的特征信息,生成神经网络的权重文件;
步骤2-3,利用COCO数据集去除全连接层的预训练权重文件;
步骤2-4,利用Anchor Box先验框聚类分析,根据权重文件对数据集先验框进行聚类分析,获得最优的先验框大小;
步骤2-5,利用新的先验框进行新一轮测试,获得更优的mAP;
步骤2-6,重复上述过程,直至达到预设的迭代次数。
5.根据权利要求4所述的基于Yolo v4与Tof算法相结合的避障方法,其特征在于,步骤4所述求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度,具体过程包括:
步骤4-1,获取步骤3中Yolo v4神经网络返回的障碍物目标的先验框中心坐标y;
步骤4-2,获取步骤3中采集的图像的中心坐标y';
步骤4-3,计算障碍物目标在水平方向相对于摄像头中心的相对角度θ,计算公式为:
式中,f为摄像头的焦距。
6.根据权利要求5所述的基于Yolo v4与Tof算法相结合的避障方法,其特征在于,步骤5所述利用激光雷达实时探测场景环境中的各物体信息,具体过程包括:
步骤5-1,利用激光雷达采集场景环境的点云信息,并获取激光雷达的数据帧;
步骤5-2,利用Tof算法解析点云信息和数据帧,获取各点相对于激光雷达的距离和角度信息。
7.根据权利要求6所述的基于Yolo v4与Tof算法相结合的避障方法,其特征在于,步骤6中所述基于所述相对角度和步骤5中各物体信息,获取步骤3中障碍物目标的距离信息,具体过程包括:
步骤6-1,从步骤5-2中解析出的各角度信息中,查找与摄像头获取到的相对角度一致的角度信息;
步骤6-2,从步骤5-2中解析出的各距离信息中,获取与步骤6-1获得的角度信息相对应的距离信息,该信息记为障碍物目标的距离信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京理工大学,未经南京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011021879.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种多价锰吸附剂的制备方法
- 下一篇:一种香水莲花精油皂及其制备方法