[发明专利]一种基于颜色和深度信息的多模态融合手势识别方法

权利要求书

1.一种基于颜色和深度信息的多模态融合手势识别方法，其步骤包括：

1)使用彩色摄像机和深度摄像机同时对手势进行拍摄，得到手势的颜色和深度的原始数据；

2)对颜色和深度的原始数据进行滤波，得到颜色和深度的平滑数据；

3)将肤色和深度作为先验知识，对颜色和深度的平滑数据分别进行分割，得到肤色分割区域和深度分割区域；

4)采用动态权重进行肤色分割区域和深度分割区域的像素层融合，构成融合分割图；采用动态权重进行肤色分割区域和深度分割区域的像素层融合的方法是：

a)手势深度区域定义为区域d，每个元素为d_i，总共包含元素个数为n_d；手势肤色区域定义为g，每个元素为g_i，总共包含元素个数为n_g；

b)求d内的深度平均值求g内的肤色平均值

c)求d和g两个区域的并，即两个区域所有像素所在区域的并d∪g；

d)将d∪g归整为矩形区域，该矩形区域为包含d∪g的最小矩形区域，该矩形区域由两个子区域构成：d∪g子区域和d∪g之外的子区域；

e)构建手势深度区域的权重矩阵wd，该矩阵的规模与所述矩形区域一致，每个元素的计算方法如下：对于手势深度区域的每个元素计算其深度值d_i与m_d的绝对值ad_i＝|d_i-m_d|，该绝对值的倒数即为权重矩阵该相应元素的值

f)归一化权重矩阵wd；

g)依次类推，构建手势肤色区域的归一化权重矩阵wg；

h)根据wd和wg，对手势深度区域和手势肤色区域进行加权求和，得到融合分割图f，其中每个元素为f_i＝d_i·wd_i+g_i·wg_i；

5)利用特征描述子对融合分割图提取特征，构成特征图；

6)对特征图进行编码，构成手势编码；

7)对手势编码进行识别，从而实现对手势的识别。

2.如权利要求1所述的方法，其特征在于，步骤2)使用高斯平滑方法对颜色和深度的原始数据进行滤波。

3.如权利要求1所述的方法，其特征在于，步骤3)中肤色分割区域和深度分割区域的计算过程如下：

a)肤色范围在统一白光照射下需满足条件1：R95,G40,B20,max(R,G,B)-min(R,G,B)15,|R-G|15,RG,RB；肤色范围在闪光或日光照射下需满足条件2：R220,G210,B170,|R-G|15,RB,GB；考虑到肤色光照的多样性，取条件1并条件2构成肤色分割判定条件；

b)在颜色数据R、G、B三个通道的平滑数据使用肤色分割判定条件，得到肤色分割图；

c)对肤色分割图进行灰度化，并进行图像形态学操作：腐蚀和膨胀，构成灰度分割图；

d)根据灰度分割图，在深度原始数据中，将相同像素位置上的深度像素分割出来，构成深度分割图；

e)计算深度分割图中每个连通分割区域的平均深度；

f)选定平均深度最小的分割区域作为深度分割区域；

g)在肤色分割图中将深度分割区域相应的肤色区域选定，作为肤色分割区域。

4.如权利要求1所述的方法，其特征在于，所述矩形区域根据使用经验确定为固定大小。

5.如权利要求1所述的方法，其特征在于，步骤5)所述特征描述子为下列中的一种：SIFT，SURF，LBP。

6.如权利要求1所述的方法，其特征在于，步骤6)采用的编码方法为稀疏编码或局部线性编码。

7.如权利要求1所述的方法，其特征在于，步骤7)对手势编码进行识别所采用的分类器为下列中的一种：支持向量机分类器、最近邻分类器、随机森林分类器。