[发明专利]一种驾驶员行为识别方法有效
申请号: | 201911083207.9 | 申请日: | 2019-11-07 |
公开(公告)号: | CN111008567B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 吕培;郝天然;王俊凯;徐明亮;周兵 | 申请(专利权)人: | 郑州大学 |
主分类号: | G06V20/59 | 分类号: | G06V20/59;G06V10/764;G06V10/82;G06N3/0464;G06N3/084;G06N3/08 |
代理公司: | 广东君龙律师事务所 44470 | 代理人: | 金永刚 |
地址: | 450001 *** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 驾驶员 行为 识别 方法 | ||
本发明公开了一种驾驶员行为识别方法。该方法包括的步骤有创建数据集、构建检测网络、训练检测网络和检测识别,主要是将驾驶室视频中每一单帧图像区分为目标数据集和分割数据集,通过对检测网络训练后,能够对输入的单帧图像处理后分别输出空间分割和目标检测,并根据所处空间判断识别目标动作对应的驾驶行为类型。通过本方法可以实现对驾驶室空间布局的分割和行为中必然发生特定瞬间动作的检测,然后依据自动分割的空间布局进行行为的准确识别。
技术领域
本发明涉及深度学习和计算机视觉技术领域,具体涉及一种驾驶员行为识别方法。
背景技术
铁路是国家经济大动脉,对国家经济建设起着举足轻重的作用,而列车驾驶员在铁路安全运输中肩负着重大责任。列车驾驶员的行为动作直接关系到铁路运输的安全,因此列车驾驶员的行为监督环节越来越受到社会的广泛关注和重视。
现有技术中,驾驶员行为识别的方法主要是基于提取特征的方法,该方法首先对视频进行采样,然后对样本提取特征,接着对特征进行编码,再对编码得到的向量进行规则化,最后训练分类。该方法能够根据需要提取相应的特征,实现简单,但行为的表示能力受所提取特征的限制。
发明内容
本发明主要解决的技术问题是提供一种驾驶员行为识别方法,主要是基于深度学习的方法,从原始视频单帧图像中自动学习特征,不需要人工提取图像特征,自动输出识别结果,解决现有技术中识别速度慢,难以满足实时识别以及识别准确率有待提高的问题。
为解决上述技术问题,本发明采用的一个技术方案是提供一种驾驶员行为识别方法,包括以下步骤:创建数据集,创建包括基于像素级的多边形标注的分割数据集和矩形标注的目标数据集的融合数据集,所述分割数据集中的数据对应用于驾驶室视频中每一单帧图像的空间布局的分割,所述目标检测数据集中的数据对应用于驾驶室视频中每一单帧图像的特定瞬间动作的检测;构建检测网络,所述检测网络包括卷积神经网络,对输入的单帧图像处理后分别输出空间分割和目标检测,并根据所处空间判断识别目标动作对应的驾驶行为类型;训练检测网络,将所述分割数据集和目标数据集融合后输入到所述检测网络,分别对应选择不同的损失函数,然后对所述检测网络进行迭代正向传播训练和反向传播训练,优化设置所述检测网络内的网络参数;检测识别,实时向所述检测网络输入驾驶室监控视频中每一单帧图像,所述检测网络对应检测识别输出每一单帧图像中驾驶员行为类型。
在本发明驾驶员行为识别方法另一实施例中,所述检测网络包括卷积神经网络,所述卷积神经网络的后一级输出特征图,同时还并联连接有区域选择网络,所述区域选择网络输出候选区域至所述对特征图进行选择区域,经过候选区域匹配处理得到固定尺度特征图,然后再分为两个网络支路分别处理,其中第一网络支路包括全卷积网络,对固定尺寸特征图绘制出相应的分割掩码,第二网络支路包括全连接网络,对固定尺寸特征图输出对应的区域框和目标类别。
在本发明驾驶员行为识别方法另一实施例中,在所述卷积神经网络中的处理中包括:第一步,对输入的单帧图像通过卷积进行偏移处理,使得输入的单帧图像经过偏移处理后,每个像素均发生相同的偏移,输出的结果为偏移量;第二步,将所述单帧图像的像素索引值与所述偏移量相加,进而得到每一个像素偏移后的坐标值(a,b),并且还需要将坐标值限定在所述单帧图像的图片大小以内,所述坐标值为浮点型数值;第三步,根据所述坐标值(a,b)确定对应的像素值,将所述坐标值(a,b)对应转换为四个整数型数值:x1=floor(a)、x2=ceil(a)、y1=floor(b)、y2=ceil(b),再对应组合成四对坐标:(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2);
在x方向进行计算:
当M1=(x-y1),
当M2=(x-y2),
在y方向进行计算:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州大学,未经郑州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911083207.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种业务请求处理方法及装置
- 下一篇:一种并联轮足式机器人腿结构及移动机器人