[发明专利]目标行为识别方法及装置、存储介质、终端在审
申请号: | 202011401980.8 | 申请日: | 2020-12-04 |
公开(公告)号: | CN114663793A | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 邓志东;张睿文;鹿红超 | 申请(专利权)人: | 丰田自动车株式会社;清华大学 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V20/58;G06V20/60 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 吴敏 |
地址: | 日本爱知*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 行为 识别 方法 装置 存储 介质 终端 | ||
1.一种目标行为识别方法,其特征在于,包括:
获取待识别视频,所述待识别视频包括多帧待识别图像;
对各帧待识别图像进行目标检测,以分别得到各帧待识别图像中的运动目标和车道线;
将每帧待识别图像中识别得到的运动目标和车道线按照像素坐标映射在同一映射图像中,每帧待识别图像具有对应的映射图像;
在每一映射图像中确定所述运动目标与路面的接触线为水平基准线,并确定所述运动目标在所述水平基准线上的第一像素坐标,以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标;
计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系,以得到所述待识别视频中所述运动目标的行为时间序列数据,所述行为时间序列数据包括按照多帧待识别图像对应的时刻顺序排列的多个相对位置关系。
2.根据权利要求1所述的目标行为识别方法,其特征在于,所述计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系包括:
根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的中心点在所述水平基准线上的第四像素坐标;
计算每一映射图像中所述第一像素坐标与第四像素坐标的差值,以作为所述相对位置关系。
3.根据权利要求1所述的目标行为识别方法,其特征在于,所述计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系包括:
根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的宽度,以及所述车道线的中心点在所述水平基准线上的第四像素坐标;计算每一映射图像中所述第一像素坐标与第四像素坐标的差值,并利用所述车道线的宽度进行归一化,以作为所述相对位置关系。
4.根据权利要求1所述的目标行为识别方法,其特征在于,所述对各帧待识别图像进行目标检测包括:
将各帧待识别图像分别输入至训练好的运动目标检测模型和车道线检测模型,所述运动目标检测模型输出识别到的所述运动目标的像素坐标,所述车道线检测模型识别到的所述车道线的像素坐标。
5.根据权利要求4所述的目标行为识别方法,其特征在于,所述运动目标以包络盒的像素坐标表示,所述车道线以其在待识别图像中像素的坐标表示。
6.根据权利要求1所述的目标行为识别方法,其特征在于,所述确定所述运动目标在所述水平基准线上的第一像素坐标,以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标之后还包括:
将各帧待识别图像对应的所述第一像素坐标、所述第二像素坐标和第三像素坐标进行卡尔曼滤波。
7.根据权利要求1所述的目标行为识别方法,其特征在于,还包括:
根据所述行为时间序列数据中的所述相对位置关系对所述运动目标对所述车道线的闯入行为进行分类。
8.一种目标行为识别装置,其特征在于,包括:
获取模块,用于获取待识别视频,所述待识别视频包括多帧待识别图像;目标检测模块,用于对各帧待识别图像进行目标检测,以分别得到各帧待识别图像中的运动目标和车道线;
映射模块,用于将每帧待识别图像中识别得到的运动目标和车道线按照像素坐标映射在同一映射图像中,每帧待识别图像具有对应的映射图像;
像素坐标计算模块,用于在每一映射图像中确定所述运动目标与路面的接触线为水平基准线,并确定所述运动目标在所述水平基准线上的第一像素坐标,以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标;
相对位置关系计算模块,用于计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系,以得到所述待识别视频中所述运动目标的行为时间序列数据,所述行为时间序列数据包括按照多帧待识别图像对应的时刻顺序排列的多个相对位置关系。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至7中任一项所述目标行为识别方法的步骤。
10.一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述目标行为识别方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于丰田自动车株式会社;清华大学,未经丰田自动车株式会社;清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011401980.8/1.html,转载请声明来源钻瓜专利网。