[发明专利]一种基于切换的卡尔曼滤波模型的手势识别方法

摘要

本发明公开的一种基于切换的卡尔曼滤波模型的手势识别方法，包括建立手势视频库，对其预处理；去除视频帧图像背景，基于肤色模型分割出双手与脸部区域；对三个区域进行形态学操作，分别计算质心，获得脸部与双手的位置矢量和双手间的位置矢量；计算光流场，得到双手质心的光流矢量；定义编码规则，对每帧图像的两个光流矢量和三个位置矢量进行编码，得到手势特征链码库；构建S‑KFM图模型，以特征链码序列作为其观测信号，以手势姿态含义序列作为其输出信号；以特征链码库作为S‑KFM的训练样本进行学习得到最优参数；对待识别的手势视频，重复相关步骤，获得相应特征链码，将其作为S‑KFM的输入进行推理，最终获得手势识别结果。

主权项

一种基于切换的卡尔曼滤波模型的手势识别方法，其特征在于，具体按照以下步骤实施：步骤1：使用相应设备拍摄单目视频，拍摄速度为30帧每秒，构建有N个动态手势的视频库V＝(V1,V2,...,Vi,...,VN)；步骤2：提取视频Vi的每帧图像，得到帧图像Fi＝(fi1,fi2,...,fij,...,fin)，其中n表示视频Vi的帧数，对fij进行预处理，基于背景差分和肤色模型获取出fij中的脸，左手和右手区域，分别记做(Sij1,Sij2,Sij3)，分别计算出三个区域的质心(Mij1，Mij2,Mij3)；步骤3：对相邻两幅图像进行光流法求解，得到光流矢量，即U＝(u,v)i＝(fi+1‑fi)，继而得到双手质心像素点对应的光流矢量Uij1＝(uij1，vij1)，Uij2＝(uij2，vij2)；左手到右手的位置矢量Pij1＝(Mij2‑Mij3)，左手到脸的位置矢量为Pij2＝(Mij2‑Mij1)，右手到脸的位置矢量为Pij3＝(Mij3‑Mij1)；步骤4：定义编码规则，对两个光流矢量以及三个位置矢量经过量化后分别进行编码，得到Uij1，Uij2，Pij1，Pij2，Pij3对应的码字，对于一个视频，将对应的n个码字相连得到五条特征链码，即左手运动链码Li1，右手运动链码Li2，左手到右手的位置链码Li3，左手到脸的位置链码Li4，右手到脸的位置链码Li5；步骤5：重复步骤2‑4，得到手势库相对应的特征链码库L＝(Li1,Li2,Li3,Li4,Li5),i＝1,2,...,N；步骤6：对待识别手势视频进行步骤2‑4处理，获得特征链码l＝(l1，l2，l3，l4，l5)；步骤7：构建由扩展卡尔曼滤波器和自适应卡尔曼滤波器组合构建的切换卡尔曼滤波器图模型，以特征链码序列作为图模型观测信号，以手势姿态含义序列作为输出信号，以L作为S‑KFM的训练样本进行学习得到图模型系统的最优参数，将l作为S‑KFM的输入进行推理，最终获得手势识别结果；所述的步骤2具体按照以下步骤实施：(21)对视频进行亮度增强，去抖动的预处理；(22)将帧图像fij与不包含人物图像的背景图像B进行差分，得到只有人物图像的差分图像bij；(23)将bij图像由RGB颜色空间转化为HSV颜色空间和YCbCr颜色空间，得到各像素的H，Cb和Cr分量，如果其满足阈值条件：H>＝0.01 and H<＝0.1 and Cb>＝140 and Cb<＝195 and Cr>＝140 and Cr<＝165，则该像素为肤色像素，从而实现对bij中人的双手和脸的定位；(24)将步骤(23)处理后的图像二值化，腐蚀，膨胀，得到更加清晰的双手和脸部封闭区域，分别记做Sij1，Sij2，Sij3；(25)根据求质心的函数，编写程序分别求得三个区域质心坐标Mij1，Mij2，Mij3；所述的步骤3具体按照以下步骤实施：(31)设t时刻，像素点(x，y)的灰度值为I(x，y，t)；(t+Δt) 时刻，该点运动到位置(x+Δx,y+Δy)，灰度值为I(x+Δx,y+Δy,t+Δt)，u，v分别是该点光流矢量的x和y分量，根据图像沿着运动轨迹的亮度保持不变的原则，获得光流场约束方程：Ixu+Iyv+It＝0，求解出该公式的解即获得图像的光流场(u,v)；(32)假设在一个小的空间领域Ω上运动矢量保持恒定，即满足光流误差其中，W2(x)表示窗口权重函数，使用加权最小二乘法求解该方程；(33)设U＝(u,v),▽I(x)＝(Ix,Iy)T，t时刻有n个点xi∈Ω,A＝[▽I(x1),...,▽I(xn)]T，W＝diag[W(x1),...,W(xn)]，B＝‑(It(x1),...,It(xn))T，则U的解由ATW2AU＝ATW2B解得，即U＝[ATW2A]‑1ATW2B；(34)使用4点中心差计算灰度的梯度，其系数模板为(‑180‑81)/12，空间邻域Ω选择大小为5*5的像素区域，窗口权重函数W2(x)为(0.06250.250.3750.250.0625)，将其代入U＝[ATW2A]‑1ATW2B，由此估计出图像的光流场U；(35)在图像光流场中，将双手质心像素点的光流矢量Uij1，Uij2输出。