[发明专利]基于稀疏编码的加速鲁棒特征双模态手势意图理解方法

权利要求书

1.一种基于稀疏编码的加速鲁棒特征双模态手势意图理解方法，其特征在于，包括以下步骤：

S1获取同步的深度手势图像和RGB手势图像，所述手势属于预设的C种手势之一，对深度手势图像进行前景图像提取得到第一前景图像，对RGB手势图像进行前景图像提取得到第二前景图像，其中：

所述深度手势图像的深度数据包括用户索引，所述深度数据由16位二进制数字组成，其中高13位表示用户与获取深度手势图像数据的设备之间的距离，低3位是用户索引，低三位从000到110，分别代表背景，用户1至用户6，所述深度手势图像的前景图像提取方法为：

S101读取所述深度手势图像上各点的16位深度数据表示为DepthID，判断其低三位USHORTplayer＝DepthID0x07是否为0；

S102若USHORTplayer为0，则该点为背景点，深度数据置为0；

S103若USHORTplayer不为0，则该点为前景点，保留该点深度数据；

S104遍历所述深度手势图像的任何一点，重复步骤S101～S103，完成所述深度手势图像的前景图像提取，得到所述第一前景图像；

所述RGB手势图像通过迭代阈值方法实现前景图像分割，依据图像灰度值T进行分割，T不断迭代，当T不再变化时即为最终分割的阈值，具体方法如下：

S1.1计算出所述RGB手势图像的最大灰度值Z_max和最小灰度值Z_min，令初始阈值为

S1.2根据阈值T₀将所述RGB手势图像分割成前景图像和背景图像，计算出前景图像的平均灰度值Z₀、背景图像的平均灰度值Z_b和新的阈值

S1.3使用T₁迭代步骤S1.2中的T₀，多次重复步骤S1.2，直到T₁＝T₀，得到的前景图像即为所述第二前景图像；

S2使用SURF算法对第一前景图像进行特征提取，对提取的特征进行稀疏编码，并使用多类线性SVM分类算法得到每种预设手势的第一hinge损失函数，其中：

使用加速鲁棒特征算法对第一前景图像进行特征提取的具体方法为：

S201构造Hessian矩阵和尺度空间表示，

通过计算下式构造Hessian矩阵，并用积分图像代替卷积来简化计算过程：

其中σ表示所述第一前景图像中点(x，y)的尺度参数，L_xx(x,σ)是高斯二阶微分在点x处与第一前景图像I的卷积，积分图像计算公式：

I_∑(x,y)为图像上点(i,j)的积分图像值，积分图像是对高斯卷积运算的简化，采用盒子滤波器近似计算Hessian矩阵的行列式：

Det(H)＝L_xx*L_yy-(L_xy)²≈D_xxD_yy-(0.9D_xy)²

S202确定特征点及其主方向，使用非极大值抑制来初始确定特征点并通过插值精确定位特征点，然后计算特征点附近的Harr小波响应值的dx，dy以及每个特征点的角度，并选择最大响应角度为主方向；

S203生成特征描述子，在所述第一前景图像上选取50个特征点，对于要选择的每个特征点，选择长度为20s的区域，s是特征点的比例，并根据主方向旋转，然后将该区域划分为4×4＝16个子区域，计算Haar小波在水平和垂直方向上的响应计算，并统计每个子区域中的以下4个值[∑dx,∑dy,∑|dx|,∑|dy|]，得到16×4＝64维的SURF特征，这50个点的SURF特征构成所述第一前景图像的特征描述符X₀；

对提取的特征进行稀疏编码的方法具体为：

S2.1训练阶段，使用预设的训练图像特征X＝[X₁,X₂,...,X_n]、训练基向量字典及稀疏表示系数α优化目标函数，其中X是D维特征空间中的一组SURF特征描述符，目标函数为：

其中λ为正则化参数，S(a_i)是稀疏代价函数S(.)是稀疏代价函数，λ＝0.15，S(a_i)为L1范数代价函数或对数代价函数

按照如下方法优化训练：

步骤a：首先固定φ_i，调整α_i，使得目标函数最小，

步骤b：然后固定α_i，调整φ_i，使得目标函数最小，

步骤c：多次重复步骤a和b，迭代改变φ_i及α_i直至收敛，得到特征描述符X进行稀疏编码结果α＝[α₁，α₂，...，α_n]；

使用多类线性SVM分类算法得到每种预设手势的第一hinge损失函数的具体步骤为：

S2.2构造最大池函数，在特征描述符X进行稀疏编码的结果α每列定义以下池函数：

z＝F(φ)

z_j＝max{|α_1j|,|α_2j|,...,|α_Mj|}

其中F(φ)为稀疏码的最大池函数，z为池化特征，z_j是z的第j个元素，α_ij是稀疏编码结果α的第i行和第j列的矩阵元素，M是特征描述符X₀包括的SURF特征的数量；

S2.3利用z_j构造线性核函数如下：

其中为图像特征点(s,t)在l层的稀疏编码最大池函数；

S2.4构造线性SVM的决策函数f(z)

使用训练集通过一对所有策略训练C个线性SVM，每个SVM的优化目标为：

分别得到每种预设手势的第一hinge损失函数

S3使用SURF算法对第二前景图像进行特征提取，对提取的特征进行稀疏编码，并使用多类线性SVM分类算法得到每种预设手势的第二hinge损失函数，所使用的方法与所述步骤S2完全相同；

S4使用D-S证据理论方法分别对每种预设手势的第一hinge损失函数和第二hinge损失函数进行决策融合得到识别结果，具体方法为：

S4.1分别使用每个第一hinge损失函数构造定义识别框架Θ上的基本概率分配为：

其中Θ＝[H1₁,H1₂,…,H1_C]，其中H1_j的手势类别为j，j∈{1,2，...C}，0β1为控制参数，φ_j为满足以下条件的递减函数:

φ_j(0)＝0

S4.2根据D-S证据理论分别计算C个手势类别的mass函数m_g1(H1_j)，得到包括C个mass函数的第一全局BPA，mass函数的计算方法如下：

其中：

S4.3对于C个hinge损失函数重复步骤S4.1和4.2，得到包括C个mass函数m_g2(H2_j)的第二全局BPA；

S4.4由所述第一全局BPA和所述第二全局BPA，计算出组合mass函数M_j(A)，计算方法如下：

S4.5筛选出C个组合mass函数M_j(A)的最大值MAX(M_j(A))，确定第j种手势为识别结果。

2.如权利要求1所述的基于稀疏编码的加速鲁棒特征双模态手势意图理解方法，其特征在于：所述深度手势图像通过Kinect设备获取。