[发明专利]基于稀疏编码的加速鲁棒特征双模态手势意图理解方法

说明书

本发明提供一种基于稀疏编码的加速鲁棒特征双模态手势意图理解方法，包括以下步骤：S1获取同步的深度手势图像和RGB手势图像，分别进行前景图像提取得到第一前景图像和第二前景图像；S2使用SURF算法对第一前景图像进行特征提取，对提取特征进行稀疏编码，使用多类线性SVM算法得到每种预设手势的第一hinge损失函数；S3使用SURF算法对第二前景图像进行特征提取，对提取特征进行稀疏编码，使用多类线性SVM算法得到每种预设手势的第二hinge损失函数；S4使用D‑S证据理论方法分别第一hinge损失函数和第二hinge损失函数进行决策融合得到识别结果。本发明的有益效果：实现深度图像及RGB图像识别结果的决策级数据融合，有效提高了手势图像的识别精度。

技术领域

本发明涉及模式识别技术领域，尤其涉及一种基于稀疏编码的加速鲁棒特征双模态手势意图理解方法。

背景技术

随着对智能人机交互研究的不断深入，对人类行为的识别及理解已经引起了计算机视觉和人工智能领域的极大兴趣。研究表明，对人类行为的识别和理解是人类高度发展的能力。人工智能研究人员一直致力于使机器人能够感知，识别和分析人类行为，从而了解人类的意图和情感。在表达人类活动特征的信号中，肢体语言可以直接表达人类活动的意图，因此其识别研究备受关注。研究表明，人类获取的信息中70％来自视觉，20％来自听觉，视觉信息中除了面部表情，身体姿势也可以传递潜在的意图及情感信息，早在1872年达尔文就在他关于情感表达的著作《The Expressions of Emotions in Human and Animals》中就提出了人的肢体表达在人的意图及情感理解中同样发挥着重要的作用。此后，大量的心理学研究也先后对这一结论进行了深入的研究及验证。不仅如此，人的肢体行为所表现出的各种姿势在表达不同情感的同时，还传递着这种情感的强度信息，如害怕的程度等。此外，通过对人的肢体动作的分析理解，还能进一步推断出行为及情感产生的内在意图。因此，对肢体动作这一表达形式的分析识别，不仅有助于识别人的情感，更有助于实现计算机对情感的理解。总之，对人体手势行为识别的研究具有广阔的发展及应用前景。

手势识别是指从收集人体手势，提取手势特征到翻译成语义意图的整个过程。手势信息可以通过RGB相机、深度相机、可穿戴惯性传感器或其他类型的传感器获得，而RGB-D传感器可以提供同步的彩色和深度图像，其互补性可以大大提高手势识别率。研究表明，多种方法的融合是未来手势识别的发展方向。

发明内容

有鉴于此，本发明的实施例提供了一种基于稀疏编码的加速鲁棒特征双模态手势意图理解方法。

本发明的实施例提供一种基于稀疏编码的加速鲁棒特征双模态手势意图理解方法，包括以下步骤：

S1获取同步的深度手势图像和RGB手势图像，所述手势属于预设的C种手势之一，对深度手势图像进行前景图像提取得到第一前景图像，对RGB手势图像进行前景图像提取得到第二前景图像；

S2使用SURF算法对第一前景图像进行特征提取，对提取的特征进行稀疏编码，并使用多类线性SVM分类算法得到每种预设手势的第一hinge损失函数；

S3使用SURF算法对第二前景图像进行特征提取，对提取的特征进行稀疏编码，并使用多类线性SVM分类算法得到每种预设手势的第二hinge损失函数；

S4使用D-S证据理论方法分别对每种预设手势的第一hinge损失函数和第二hinge损失函数进行决策融合得到识别结果。

进一步地，所述深度手势图像的深度数据包括用户索引，检索所述深度数据的用户索引分割出所述第一前景图像。

进一步地，所述RGB手势图像的前景图像提取方法具体为：

S1.1计算出所述RGB手势图像的最大灰度值Z_max和最小灰度值Z_min，令初始阈值为