[发明专利]静态手势识别方法及其系统和电子设备

说明书

一种静态手势识别方法及其系统和电子设备。该静态手势识别方法包括步骤：基于从输入图像中提取的待识别手势的多个手掌关键点的信息，计算出该待识别手势的多个关键点特征，以在多个维度上对该待识别手势的五指姿态进行描述；和对该待识别手势的该多个关键点特征进行分类识别，以输出手势识别结果。

技术领域

本发明涉及手势识别技术领域，尤其是涉及静态手势识别方法及其系统和电子设备。

背景技术

手势作为一种传达信息的方式，在许多学科中，都有广泛的应用。由于手势独特的便利性和可操作性，且符合自然人的操作习惯，因此手势识别逐渐成为人机交互领域的研究热点，特别是在手语翻译、车载系统、游戏娱乐、非接触控制以及增强现实等领域扮演着重要的角色。

从手势的状态出发，手势识别可以分为静态手势识别和动态手势识别。静态手势识别是描述单帧的静态手势状态，即某一时刻手势的状态；动态手势识别是描述多帧的动态手势动作，即某一时间段内连续手势变化表示的动作。动态手势识别技术通常可以分为两类：一类是从特征直接识别动态手势；另一类是先识别连续的单帧手势，再综合进行动作判断。在现阶段，无论是传统方式还是深度学习的方式，相较于直接进行动态手势识别的方案，先单帧识别再多帧融合判断的方案在数据集的要求、算法复杂程度、识别的准确性和鲁棒性等方面都有优势。因此，静态手势识别在识别静态手势的同时，仍然在多帧动态手势识别算法中扮演重要的角色。

目前，静态手势识别技术可分为三类：1)基于手掌图像的几何特征进行手势识别；2)基于获取的手掌关键点进行手势识别；3)端到端的手势识别。然而，基于手掌图像的几何特征进行手势识别的方法虽然算法逻辑简单，易于实现，且对数据集没有要求，但其只能识别相对简单的手势，支持手势的扩展性较差，同时识别的鲁棒性和稳定性较低，特别是当手势较多时，简单的算法逻辑会变得非常冗余。基于端到端的手势识别方法虽然因得益于深度学习技术的发展而能够从输入图像直接获得单帧动作识别结果，准确率和算法的简洁程度较好，但其直接获得的单帧手势识别结果中缺少了类似于手掌关键点等手势的关键信息，不利于后期手势的应用和多帧动作的识别。近年来，虽然从手势图像中获得手掌关键点的技术逐渐成熟，并且一部分论文在平面图像中提取三维手掌关键点方面取得了不错的效果，但这些论文的重点几乎全部集中在关键点的提取精度的提升，而很少有论文关注到基于关键点的手势识别过程。事实上，在获得准确的关键点后，一个高精度、高速度的手势识别方法对于整体手势识别的效果和应用尤为重要。

现有的基于手掌关键点实现静态手势识别的方法通常是通过模板匹配进行的，并通过不同的距离(如欧式距离或hasusdorff距离等)描述方式来定义模板的相似度。例如，现有的一种基于手掌关键点的静态手势识别方法包括以下步骤：1)根据关键点获取方法获得所需识别手势的关键点模板；2)计算输入图像的手掌关键点；3)利用SVD模型分解计算该输入图像的手掌关键点与该关键点模板的模板关键点之间的空间变换矩阵，从而确定该手掌关键点和该模板关键点之间的对应关系；4)计算各个对应关键点的欧式距离，并以与最匹配距离对应的模板手势作为该输入图像的手势识别结果。

然而，这种现有的静态手势识别方法虽然对于感兴趣手势范围内的手势识别具有较好的效果，但是在识别过程中仍会存在一些问题：一方面，由于在输入关键点之后，需要进行SVD分解，但SVD分解过程需要消耗一定的计算资源，因此该现有的静态手势识别方法的计算耗时较长；另一方面，由于在输入一个手势图像后，无论该手势是否属于规定的手势范围，都将为该手势图像分配一个识别结果，即在规定的手势范围内与距离最近的模板对应的手势，因此该现有的静态手势识别方法的误检率较高。

发明内容

本发明的一优势在于提供一静态手势识别方法及其系统和电子设备，其能够在提高手势识别的效率和正确率的同时，具备较强的手势拓展性。

本发明的另一优势在于提供一静态手势识别方法及其系统和电子设备，其中，在本发明的一实施例中，所述静态手势识别方法能够简洁、直观且高效地描述待识别手势的详细姿态以充分表达待识别手势的特征，使得不同的手势具有很好的区分度。