[发明专利]基于条件句子生成和跨模态重排的手语翻译方法

说明书

本发明公开了一种基于条件句子生成和跨模态重排的手语翻译方法，包括：将手语视频序列划分为若干视频片段，通过三维卷积神经网络从视频片段集合中提取时序特征，再通过时序建模器识别出手语视频序列中表达的关键词集合；对关键词集合编解码处理，生成由关键词组成的通顺句子集合；将通顺句子集合与手语视频序列进行比较，找出与手语视频序列相关度最高的句子，作为手语翻译结果。

技术领域

本发明涉及手语翻译技术领域，尤其涉及一种基于条件句子生成和跨模态重排的手语翻译方法。

背景技术

手语对于听力障碍的残疾人来说是一种非常重要的沟通方式。为了让这些残疾人和不懂手语的正常人沟通更加方便，手语翻译系统就变得尤为重要。该系统非常重要的环节就是让计算机能够精准地感知手势语言、面部表情在内的多种信息表达方式，并输出准确和流利的口语句子方便正常人理解。手语是用手形变换和手臂运动，辅以面部表情和唇动来表达精准的语义信息，且在长期的发展中，拥有规范的语法、明确的语义和健全的词汇体系。

手语翻译的目的是通过计算机设计一定的算法，将摄像头捕捉到的手语视觉信息翻译为流畅的口语句子。这项研究不仅可以促进人机交互领域的发展，同时可以为聋人以及听障人士提供手语机器翻译，使得聋人可以更方便地和听人进行交流，方便他们的日常生活。

手语翻译具体是指输入一段包含完整手语句子的视频，识别其表达的具体含义，并将其用通顺的口语表达。在现有的手语翻译方法中，有两种常见的方式。

第一种方式叫做基于手语注释的手语翻译算法，它是先将手语视频做连续手语识别，识别出视频中表达的手语单词；再通过机器翻译等手段，将手语单词表述成常见的口语。然而，其缺陷在于：基于手语注释的手语翻译算法在学习过程中需要数据集具有手语注释，而手语注释需要有丰富经验的手语专家进行标定，成本开销巨大。

第二种方式则是不基于手语注释的手语翻译算法，它直接通过跨模态的映射，将手语视频转化为口语句子。这两类方法目前都是通过深度神经网络，进行数据驱动的学习。然而，其缺陷在于：不基于手语注释的手语翻译算法则因为模态间差距过大，往往翻译性能不好。并且因为手语视频的数据有限，无法直接学出口语的语法规则，导致生成的口语句子非常不流畅。

发明内容

本发明的目的是提供一种基于条件句子生成和跨模态重排的手语翻译方法，能够有效提升手语翻译系统翻译的准确性和语法正确性。

本发明的目的是通过以下技术方案实现的：

一种基于条件句子生成和跨模态重排的手语翻译方法，包括：

将手语视频序列划分为若干视频片段，通过三维卷积神经网络从视频片段集合中提取时序特征，再通过时序建模器识别出手语视频序列中表达的关键词集合；

对关键词集合编解码处理，生成由关键词组成的通顺句子集合；

将通顺句子集合与手语视频序列进行比较，找出与手语视频序列相关度最高的句子，作为手语翻译结果。

由上述本发明提供的技术方案可以看出，不需要让专家对手语翻译数据集进行手语注释标准，并且让翻译系统掌握了口语的语法规则。利用该方法生成出来的句子不仅语义更加准确，并且语法正确，句子流畅，极大的方便了不懂手语的正常人和听力障碍残疾人的沟通交流。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于条件句子生成和跨模态重排的手语翻译方法的示意图。

具体实施方式