[发明专利]基于动态伪标签解码的手语识别系统优化方法及装置

说明书

本发明公开了一种基于动态伪标签解码的手语识别系统优化方法及装置，应用于手语识别系统，手语识别系统包括：特征提取器、时序建模器和序列解码器；方法包括：采用连续联结分类作为优化函数，采用端到端的训练方法训练整个手语识别系统，得到初步可用的手语识别系统；优化特征提取器的参数，优化时序建模器的参数，利用优化后提取的时序特征，优化时域集成网络的参数，作为时域建模器嵌回手语识别系统中。本发明能够更好的耦合手语识别系统中的多个模块，进而提高了手语识别的准确率。

技术领域

本发明涉及手语识别系统技术领域，尤其涉及一种基于动态伪标签解码的手语识别系统优化方法及装置。

背景技术

随着虚拟现实、体感设备、可穿戴设备等技术的快速发展和应用，人们对于多模态人机交互方式的需求日益上升。这其中非常重要的环节是使得计算机能精准地感知包括自然语言、手势语言、面部表情在内的多种信息表达方式。手语是用手形变换和手臂运动，辅以面部表情和唇动来表达精准的语义信息，且在长期的发展中，拥有规范的语法、明确的语义和健全的词汇体系。

手语识别的目的是通过计算机设计一定的算法，将摄像头捕捉到的手语视觉信息翻译为相应的文本或语音信息。这项研究不仅可以促进人机交互领域的发展，同时可以为聋人以及听障人士提供手语机器翻译，使得聋人可以更方便地和听人进行交流，方便他们的日常生活。

连续手语识别是指输入一段包含完整手语句子的视频，识别其表达的多个连续手语词汇，并组织成句。连续手语识别系统主要分为两个部分，分别是特征提取模块和时序建模模块。特征提取部分负责捕捉原始视频帧中的关键视觉信息，并将其转化为数字化的特征表达。时域建模部分负责对连续手语视觉特征进行时域上的建模，转化为自然语言的文本进行输出。

在现有的连续手语识别方法中，基于深度神经网络的手语识别方法非常热门。基于深度神经网络的手语识别系统通常由特征提取器、时序建模器和序列解码器组成。特征提取器采用卷积神经网络(Convolutional Neural Network，CNN)，提供具有判别力的视觉特征表达。时序建模器有多种选择，如时域卷积网络(Temporal Convolutional Network，TCN)和门限循环神经网络(Gated Recurrent Neural Network，GRU)，将连续的视觉特征表达进行时序上的整合，得到每一帧的预测概率矩阵，最终交由序列解码器进行解码，得到识别出的文本信息。目前，手语识别系统的网络参数的优化采取端到端的训练方法，采用基于联结时序分类(Connectionist Temporal Classification，CTC)的优化函数。

由此可以看出，现有的手语识别系统的优化方法存在以下问题：

1、连续手语识别系统由特征提取器、时序建模器和序列解码器等多个模块组成，传统的优化方法仅仅依赖端到端的训练方法，难以优化所有模块，模块参数难以相互耦合，识别率不高。

2、采用单一的时序建模器无法兼顾长时序列信息和短时序列信息，时域卷积网络可以建模短时的短语信息，缺乏整体语法和上下文的建模；而门限循环神经网络可以建模长时的语言信息，缺乏短时的视觉运动建模。

因此，如何实现手语识别系统中多个模块可以更好的耦合，以提高手语识别的准确率，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于动态伪标签解码的手语识别系统优化方法，能够更好的耦合手语识别系统中的多个模块，进而提高了手语识别的准确率。

本发明提供了一种基于动态伪标签解码的手语识别系统优化方法，应用于手语识别系统，所述手语识别系统包括：特征提取器、时序建模器和序列解码器；所述方法包括：

采用连续联结分类作为优化函数，采用端到端的训练方法训练整个手语识别系统，得到初步可用的手语识别系统；

优化特征提取器的参数；