[发明专利]基于卷积姿势机和长短时记忆网络的交警手势识别方法

摘要

基于卷积姿势机和长短时记忆的交警手势识别方法属于电子信息领域。本发明在分析交警手势的关节铰接特征基础上，建立基于关节点和骨架的交警手势模型；应用CPM提取交警手势的关键节点，并在此基础上提取交警手势骨架的相对长度及其与重力加速度的夹角作为交警手势的空间上下文特征；将CPM与LSTM结合提取交警手势的空间和时序特征，并构造了CTPGR；创建交警手势视频库，并对CTPGR进行训练和验证；实验证明CTPGR可以快速准确的识别交警手势，系统的准确率达到95.09％，并对光线、背景和交警手势位置变化具有较强的抗干扰能力。

主权项

1.基于卷积姿势机和长短时记忆的交警手势识别方法，其特征在于包括：(1)基于关节点和骨架的交警手势建模通过分析交警手势均由连贯的头部转动、双臂摆动并结合手势组成，是典型的关节铰接型姿态；交警的铰链式姿势抽象为14个部件，这些部件的坐标，其集合为Y；Y由头部关键节点Y_head、上身关键节点Y_upper、下身关键节点Y_lower三个集合构成，即依据人体骨骼及相互间的依赖关系，Y中相邻关键节点间存在连接依赖关系；交警手势所含关键节点间的连接关系集合表示为S；s为其中的一条关键节点连接，即s∈S；其起始关键节点和终止关键节点分别为Y_m和Y_n，则表示了交警手势所含的一条骨架矢量；S由头部骨架S_head、上身骨架S_upper和下身骨架S_lower3部分构成；即：(2)基于CPM的交警手势关键节点提取技术设为包含交警手势的图像上所有位置坐标(u，v)的集合，为二维实数集；在图像中交警手势每个部件的位置用Y_k表示，交警手势总共包含14个部件，因此Y_k∈{Y₁，...，Y₁₄}；PKEN由一系列多类预测器g_t(·)组成，它们被训练用来预测同一图像在不同感受野下每个部件的位置；具体而言，g_t(·)是一个分类器，下标t∈{1，...，T}表示分类的阶段，每个阶段的感受野不同；g_t(·)预测该感受野下图像中点属于部件Y_k的置信度，用b表示置信度值；这些g_t(·)具有相同目标函数值即真实的置信度；当t＞1时，g_t(·)是从图像位置提取的特征值和每个关键节点Y_k在t‑1时刻置信度的预测值的拼接函数；即：其中，为提取器ψ(·)在位置提取的图像特征值；即：在PKEN中，除第一阶段外，后续每个阶段的分类器相比上一阶段会获得更大的感受野，因而能够获得Y_k附近更多的上下文信息，这样不同阶段的分类器拼接在一起，能输出更加精确的结果；在分类器的第一阶段即t＝1时，使用表示图像位置上的特征值，则分类器产生的值如下：其中，表示图像中坐标点属于部件k的置信度；在t＞1阶段，若别用w和h表示输入图像的宽和高，输入图像中所有坐标点(u，v)属于关键节点k的置信度值表示为即：由于交警手势包含14个关键节点，因此图像中交警手势所含所有关键节点的置信度集合表示为通过上述步骤，为交警手势所含的每个部件产生置信度图；经过T个阶段，置信度最高的位置即为关键节点位置；即：由此建立出PKEN；(3)交警手势空间上下文特征提取：通过公式(4)～(7)的计算确定交警手势中的每个关键节点的位置；依据交警手势中骨架间的铰接依赖关系，通过相邻关键节点计算求得交警手势中骨架及其长度；设φ₁(·)为将部件位置转换为骨架矢量的函数；即，φ₁(Y_m，Y_n)→s，s∈S    (7)使用骨架矢量提取了交警手势所包含的2种空间上下文特征F₁、F₂；其中，F₁为骨架的相对可见长度；F₂为骨架与重力方向的夹角，它们共同构成了交警手势的空间上下文特征集合F；即F＝F₁∪F₂；由于交警的头部长度为固定值，其不会随着身体的转动和摄像头距离的变化而改变；因此以交警头部长度为参考点，引入函数φ₂(·)表示交警手势中所含骨架的相对可见长度的向量拼接；即，其中，S_head是代表头顶至脖子中心的头部骨架矢量，||·||表示矢量模，即头部骨架的长度；表示向量拼接；该公式以S_head为参考，计算每个骨架相对于头部骨架的可见长度；由于重力加速度的方向始终垂直于地面，为了描述交警手势中每个骨架相对于地面的方向，为此引入了骨架与重力加速度的夹角；并使用φ₃(·)表示每个骨架与重力方向夹角的向量拼接；即为保持特征值的连续性，采用骨架与重力加速度方向的三角函数值来描述骨架的角度特征；公式(10)中，d表示一个单位矢量，方向与重力方向相同；计算了每个骨架矢量与重力方向夹角的cos值，计算其sin值；最终，由φ₄(·)将上述两个特征拼接组合成为交警手势特征F：(4)交警手势的时序特征提取：由于动态交警手势由一组具有时间先后顺序的图像序列组成；因此引入LSTM网络将交警手势中的空间特征与时间顺序相关联；LSTM依据公式(12)保存记忆内容；其中，h_τ为输出的时间特征，e_τ用于记忆保存，并作为下一个循环神经网络的输入；在保存记忆的同时，LSTM也依据公式(13)计算输出向量h_τ；其中，σ为sigmoid函数，tanh为hyperbolic tangent函数；表示向量拼接，·表示矩阵乘法，*表示点乘；τ代表当前时间；F^τ表示在时间τ时的交警手势上下文空间特征；以上公式中W和β表示采用梯度下降法对LSTM神经网络训练得到的全连接层的权重和偏置；最后，h_τ通过全连接层按照公式(14)计算每类交警手势的预测概率，并按照公式(15)将预测概率最大的手势作为预测手势；公式(14)中，函数s(·)表示softmax，表示当前手势属于每个手势类的概率；o^d表示公式(8)中非交警指挥手势的概率；公式(15)中，表示最终的手势分类输出；δ表示动作置信度阈值，取值0.9，只有在网络对当前分类的确信度超过δ时，才将其作为输出。