[发明专利]基于卷积姿势机和长短时记忆网络的交警手势识别方法有效

专利信息
申请号: 201910529956.3 申请日: 2019-06-19
公开(公告)号: CN110287844B 公开(公告)日: 2021-07-23
发明(设计)人: 何坚;祖天奇;张丞;余立 申请(专利权)人: 北京工业大学
主分类号: G06K9/00 分类号: G06K9/00;G06N3/04;G06N3/08;G06K9/62
代理公司: 北京思海天达知识产权代理有限公司 11203 代理人: 刘萍
地址: 100124 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 卷积 姿势 短时记忆 网络 交警 手势 识别 方法
【权利要求书】:

1.基于卷积姿势机和长短时记忆的交警手势识别方法,其特征在于包括:

(1)基于关节点和骨架的交警手势建模

通过分析交警手势均由连贯的头部转动、双臂摆动并结合手势组成,是典型的关节铰接型姿态;交警的铰链式姿势抽象为14个部件,这些部件的坐标,其集合为Y;Y由头部关键节点Yhead、上身关键节点Yupper、下身关键节点Ylower三个集合构成,即

依据人体骨骼及相互间的依赖关系,Y中相邻关键节点间存在连接依赖关系;交警手势所含关键节点间的连接关系集合表示为S;s为其中的一条关键节点连接,即s∈S;其起始关键节点和终止关键节点分别为Ym和Yn,则表示了交警手势所含的一条骨架矢量;

S由头部骨架Shead、上身骨架Supper和下身骨架Slower3部分构成;即:

(2)基于卷积姿势机(Conventional Pose Machine,CPM)的交警手势关键节点提取技术

设为包含交警手势的图像上所有位置坐标(u,v)的集合,为二维实数集;在图像中交警手势每个部件的位置用Yk表示,交警手势总共包含14个部件,因此Yk∈{Y1,…,Y14};交警手势关键节点提取网络(Police Key-point ExtractingNetwork,PKEN)由一系列多类预测器gt(·)组成,它们被训练用来预测同一图像在不同感受野下每个部件的位置;具体而言,gt(·)是一个分类器,下标t∈{1,…,T}表示分类的阶段,每个阶段的感受野不同;gt(·)预测该感受野下图像中点z属于部件Yk的置信度,用b表示置信度值;这些gt(·)具有相同目标函数值即真实的置信度;当t1时,gt(·)是从图像位置z提取的特征值xz和每个关键节点Yk在t-1时刻置信度的预测值的拼接函数;即:

其中,xz为提取器ψ(·)在位置z提取的图像特征值;即:

在PKEN中,除第一阶段外,后续每个阶段的分类器相比上一阶段会获得更大的感受野,因而能够获得Yk附近更多的上下文信息,这样不同阶段的分类器拼接在一起,能输出更加精确的结果;

在分类器的第一阶段即t=1时,使用xz表示图像位置z上的特征值,则分类器产生的值如下:

其中,表示图像中坐标点z属于部件k的置信度;在t1阶段,若别用w和h表示输入图像的宽和高,输入图像中所有坐标点(u,v)属于关键节点k的置信度值表示为即:

由于交警手势包含14个关键节点,因此图像中交警手势所含所有关键节点的置信度集合表示为

通过上述步骤,为交警手势所含的每个部件产生置信度图;经过T个阶段,置信度最高的位置即为关键节点位置;即:

由此建立出PKEN;

(3)交警手势空间上下文特征提取:

通过公式(4)~(7)的计算确定交警手势中的每个关键节点的位置;依据交警手势中骨架间的铰接依赖关系,通过相邻关键节点计算求得交警手势中骨架及其长度;设φ1(·)为将部件位置转换为骨架矢量的函数;即,

φ1(Ym,Yn)→s,s∈S (8)

使用骨架矢量提取了交警手势所包含的2种空间上下文特征F1、F2;其中,F1为骨架的相对可见长度;F2为骨架与重力方向的夹角,它们共同构成了交警手势的空间上下文特征集合F;即F=F1∪F2

由于交警的头部长度为固定值,其不会随着身体的转动和摄像头距离的变化而改变;因此以交警头部长度为参考点,引入函数φ2(·)表示交警手势中所含骨架的相对可见长度的向量拼接;即,

其中,Shead是代表头顶至脖子中心的头部骨架矢量,‖·‖表示矢量模,即头部骨架的长度;表示向量拼接;该公式以Shead为参考,计算每个骨架相对于头部骨架的可见长度;

由于重力加速度的方向始终垂直于地面,为了描述交警手势中每个骨架相对于地面的方向,为此引入了骨架与重力加速度的夹角;并使用φ3(·)表示每个骨架与重力方向夹角的向量拼接;即

为保持特征值的连续性,采用骨架与重力加速度方向的三角函数值来描述骨架的角度特征;公式(10)中,d表示一个单位矢量,方向与重力方向相同;计算了每个骨架矢量与重力方向夹角的cos值,计算其sin值;最终,由φ4(·)将交警手势中所含骨架的相对可见长度的向量和每个骨架与重力方向夹角的向量拼接组合成为交警手势特征F:

(4)交警手势的时序特征提取:

由于动态交警手势由一组具有时间先后顺序的图像序列组成;因此引入LSTM网络将交警手势中的空间特征与时间顺序相关联;LSTM依据公式(12)保存记忆内容;

其中,hτ为输出的时间特征,eτ用于记忆保存,并作为下一个循环神经网络的输入;在保存记忆的同时,LSTM也依据公式(13)计算输出向量hτ

其中,σ为sigmoid函数,tanh为hyperbolic tangent函数;表示向量拼接,·表示矩阵乘法,*表示点乘;τ代表当前时间;Fτ表示在时间τ时的交警手势上下文空间特征;以上公式中W和β表示采用梯度下降法对LSTM神经网络训练得到的全连接层的权重和偏置;

最后,hτ通过全连接层按照公式(14)计算每类交警手势的预测概率,并按照公式(15)将预测概率最大的手势作为预测手势;

公式(14)中,函数s(·)表示softmax,表示当前手势属于每个手势类的概率;od表示公式(8)中非交警指挥手势的概率;

公式(15)中,表示最终的手势分类输出;δ表示动作置信度阈值,取值0.9,只有在网络对当前分类的确信度超过δ时,才将其作为输出。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910529956.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code