[发明专利]一种基于视频编码数据多特征融合的动态手势识别方法及系统

权利要求书

1.一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，包括以下步骤：

S1，将已知动态手势的视频编码数据分解为若干个等长度的GOP；

S2，获取每个GOP中的I帧、积累残差和积累运动矢量，采用I帧训练得到I帧识别模型，采用积累残差训练得到积累残差识别模型，采用积累运动矢量训练得到运动矢量识别模型；

S3，将待识别动态手势视频根据步骤S1中GOP下采样到等长，将下采样后的视频数据分别通过I帧识别模型、积累残差识别模型和运动矢量识别模型获取三个准确率，将获取的三个准确率进行融合得到最终融合概率，最终融合概率最大所对应的手势动作即为待识别动态手势视频中的手势动作。

2.根据权利要求1所述的一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，每个GOP包括7帧数据。

3.根据权利要求2所述的一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，视频序列如公式1所示：

V＝{F₁,F₂,…,F_i,…,F_n} 式1

其中F_i为视频中一帧数据，下标i表示当前为第i帧，V为整个视频数据，F表示视频帧；

一个视频V中的GOP如公式2所示：

其中G_i为视频V中第i个GOP，为GOP中首帧数据，下标j表示整个视频V中第j帧。

4.根据权利要求3所述的一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，

第j帧F_j积累到GOP中的首帧I帧的积累运动矢量Φ_j如公式6所示，积累残差Δ_j如公式7所示；

Φ_j＝p-τ_j→0 式6

Δ_j＝R₁(τ_j→1)+…+R_j-1(τ_j→j-1)+R_j(p) 式7

式中：p为当前帧F_j的像素，τ_j→0表示由第j帧F_j积累到首帧I帧的参考位置，R_j(p)表示第j帧像素p的残差，τ_j→j-1表示由第j帧F_j积累到前一帧的参考位置。

5.根据权利要求3所述的一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，使用首帧I帧的像素信息与积累运动矢量和积累残差计算出当前帧的像素信息。

6.根据权利要求1所述的一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，在融合过程中，首先将积累运动矢量映射到HSL颜色空间，通过运动矢量的x轴和y轴偏移量计算出运动矢量的运动方向和运动幅度大小，分别映射到HSL的H分量和S分量，L分量使用均值；残差的原始数据使用YUV色彩空间的Y分量，U和V分量使用均值，并转换为RGB格式。

7.根据权利要求1所述的一种基于视频编码数据多特征融合的动态手势识别方法，其特征在于，将待识别动态手势视频按GOP下采样到等长，如公式18所示；

V_d为GOP下采样后的手势视频数据集，V_i^(k)为第i个下采样手势视频数据，k为下采样后的GOP数量，所有下采样后的手势视频的GOP数量相同。