[发明专利]基于YOLO目标检测算法和光流追踪算法融合的机动车轨迹提取方法在审
申请号: | 201910681920.7 | 申请日: | 2019-07-26 |
公开(公告)号: | CN110570456A | 公开(公告)日: | 2019-12-13 |
发明(设计)人: | 彭云龙;周竹萍;张蔚;黄锐;李磊;孙攀;林天婵;杨旭;裘梦琪;梅亚岚 | 申请(专利权)人: | 南京理工大学 |
主分类号: | G06T7/246 | 分类号: | G06T7/246;G06T7/70 |
代理公司: | 32273 南京苏创专利代理事务所(普通合伙) | 代理人: | 张艳 |
地址: | 210000 江苏省南*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机动车位置 机动车 区域掩模 追踪 图像 光流 机动车位置信息 目标检测算法 最小外接矩形 彩色图像 初步定位 光流信息 轨迹提取 区域集合 区域信息 算法融合 计算量 检测 角点 匹配 替换 视频 融合 保留 网络 学习 | ||
1.基于YOLO目标检测算法和光流追踪算法融合的机动车轨迹提取方法,其特征在于:包括以下步骤:
步骤1、基于路段或交叉口获取视频:通过摄像设备采集路段或交叉口视频;
步骤2、获取机动车位置信息:基于步骤1所采集的路段或者交叉口视频序列,利用深度学习检测网络YOLO检测机动车,并记录各检测机动车的位置和最小外接矩形:基于当前帧,检测得到当前帧下的机动车位置区域集合其中:f表示当前帧数,n表示当前帧f下机动车编号,集合各元素包含当前帧f下编号为n的机动车最小外接矩形在像素坐标系下左上角坐标及长宽
步骤3、获取机动车光流信息:基于步骤2所获取的机动车位置区域集合检测各区域的Harris角点,并以此作为光流追踪起点:针对当前帧获取的机动车位置区域集合,对各个区域块进行Harris角点检测,获取N个最符合要求的特征点,以此作为光流追踪起点,得到当前帧下角点集合其中表示当前帧f下编号为i的机动车所包含的N个角点坐标;
步骤4、基于步骤2和3获得的机动车位置信息和光流信息,对下一帧f+1利用深度学习检测网络YOLO检测机动车,若检测到机动车,则记录f+1为当前帧,当前帧f+1下的机动车位置区域集合进入步骤5,否则进入步骤6,其中所述光流信息是指角点的位置信息和运动信息,即角点速度及其方向;
步骤5、基于步骤4所获取的机动车位置区域集合构造当前帧下f+1的机动车位置区域掩模图像:所述当前帧f+1的机动车位置区域掩模图像是指仅包含机动车位置区域信息的图像,也即各检测到的机动车最小外接矩形区域的彩色图像予以保留,其余部分替换为白色或黑色,进入步骤7;
步骤6、基于步骤3获得的角点集合将当前帧f+1作为跟踪输入掩模图像;
步骤7、基于步骤5获取的掩模图像及角点信息,利用光流追踪当前帧f+1下的机动车位置,若在当前帧f+1追踪到匹配角点,则认定追踪成功,获得当前帧f+1下追踪角点位置集合进入步骤8,否则进入步骤10;
步骤8、基于步骤7获得的掩模图像及角点位置集合,利用光流法反向追踪上一帧f的角点信息,获得上一帧f的角点位置集合
步骤9、基于步骤8获得的角点集合计算各角点偏移量Δ,若角点偏移量大于预设阈值μ,即Δ>μ,认定角点追踪失败,进入步骤10,否则进入步骤11;
步骤10、将当前帧f+1与上一帧f机动车位置基于ORB特征点匹配,特征点匹配会得到角点集合;
步骤11、基于上一帧f和当前帧f+1的角点位置集合利用角点位置均值作为各追踪机动车轨迹点绘制追踪轨迹,进入步骤12,检查视频是否结束;
步骤12、检测视频是否结束,若是,则结束追踪,否则返回步骤4。
2.根据权利要求1所述的基于YOLO目标检测算法和光流追踪算法融合的机动车轨迹提取方法,其特征在于:所述步骤9基于角点集合计算各角点偏移量Δ,具体包括以下步骤:
步骤9-1、预定各角点偏移量Δ的阈值μ;
步骤9-2、基于角点集合分别计算机动车i的N个角点偏移量若小于预定偏移量阈值μ,则保留该点,否则删除该点,直至机动车i的所有角点为空,则进入步骤10。
3.根据权利要求1所述的基于YOLO目标检测算法和光流追踪算法融合的机动车轨迹提取方法,其特征在于:所述步骤10将当前帧f+1与上一帧f机动车位置基于ORB特征点匹配,具体包括以下步骤:
步骤10-1、设置匹配相似度阈值λ;
步骤10-2、基于当前帧f+1和上一帧f机动车位置区域掩模图像利用Fast算法计算特征点;
步骤10-3、基于步骤10-2获得的特征点,利用BRIEF算法计算特征描述子:所述特征描述子是二进制串形式,如特征点A、B的描述子:
步骤10-4、基于步骤10-3获得的特征描述子,利用异或操作计算二者相似度;
步骤10-5、基于步骤10-4匹配结果,若大于匹配阈值λ:
将上一帧f机动车位置区域,即机动车最小外接矩形,按照匹配位置平移至当前帧f+1作为机动车位置,以特征点位置均值的形式绘制轨迹,利用当前帧f+1的fast特征点重新作为光流追踪起点,返回步骤4;
若小于匹配阈值λ:
利用YOLO算法重新检测机动车,返回步骤2。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京理工大学,未经南京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910681920.7/1.html,转载请声明来源钻瓜专利网。