[发明专利]一种手模型感知的孤立词手语识别方法

说明书

本发明公开了一种手模型感知的孤立词手语识别方法，包括：对于从手语视频中截取的手序列，通过视觉编码器转换为包含手部状态的隐语义表征；之后，通过手模型感知解码器以模型感知的方式工作，将包含手部状态的隐语义表征映射为三维手网格，并得到每个手关节点位置；最后，通过推理模块对三维手网格进行优化，获得每个手关节点的时空表征，再进行分类，从而识别出手序列所对应的词汇。该方法能够融合模型与数据驱动，引入手型先验，提高系统的识别准确率，并且能够对中间结果(即三维手网格)进行可视化，增强框架的解释性。

技术领域

本发明涉及手语识别技术领域，尤其涉及一种手模型感知的孤立词手语识别方法。

背景技术

根据世界卫生组织WHO在2020年的统计数据，全球大约有4.66亿人存在听力障碍，大约占有全球总人口的5％。在听障人群中，最常用的交流媒介是手语。手语作为一种视觉语言，有着它独特的语言特性。它主要通过手控特征(手型、手的运动及位置等)，辅助以细粒度的非手控特征(表情、唇型等)来表达语义信息。

为了解决听人与聋人之间的交流鸿沟，手语识别应运而生并被广泛地研究。通过计算机算法，它将输入的手语视频转换为对应的文本。孤立词手语识别是其中的基础任务，它将输入的手语视频识别为这个视频对应的词汇。通常的识别流程为，首先对输入的手语视频提取表征，然后将该表征变换为概率向量，从中取概率最大对应的类别作为识别结果。

手在手语表意中呈现主导地位，手仅占据较小的空间尺寸，展现出高铰接式的关节点。相比于身体和脸，手有着相似的外观和较少的局部辨别特征。在手语视频中，手通常会出现运动模糊和自遮挡现象，并且其背景复杂。

早期工作通常采用人工设计的特征来描述手势。随着近些年深度学习与硬件计算能力的发展，基于深度学习的手语识别系统逐渐占据主导地位。它通过卷积神经网络(Convolutional Neural Network，CNN)来提取表征，然后将表征通过全连接和Softmax层后转换为概率向量，取最大概率对应的类别作为识别结果。近年来，一些工作将手抠出作为额外的辅助支路，并且取得了一定的性能提升。这些基于深度学习的方法都是在数据驱动的范式下进行的，其中的特征是在视频类别标签的监督下学到的。然而直接的数据驱动的手语识别方法有如下问题：可解释性有限；容易在有限的训练数据下过拟合。由于手语数据的标注需要专业知识，现有的手语数据集相比于动作识别数据集，每个类别的样本数都比较少，因此，现有方案的识别准确率还有待提升。

发明内容

本发明的目的是提供一种手模型感知的孤立词手语识别方法，能够提高系统的识别准确率，并增强识别框架的解释性。

本发明的目的是通过以下技术方案实现的：

一种手模型感知的孤立词手语识别方法，包括：

对于从手语视频中截取的手序列，通过视觉编码器转换为包含手部状态的隐语义表征；之后，通过手模型感知解码器以模型感知的方式工作，将包含手部状态的隐语义表征映射为三维手网格，并得到每个手关节点位置；最后，通过推理模块对三维手网格进行优化，获得每个手关节点的时空表征，再进行分类，从而识别出手序列所对应的词汇。

由上述本发明提供的技术方案可以看出，能够融合模型与数据驱动，引入手型先验，提高系统的识别准确率，并且能够对中间结果(即三维手网格)进行可视化，增强框架的解释性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种手模型感知的孤立词手语识别方法的框架图。

具体实施方式