[发明专利]在新闻播报实时翻译文字和手语的方法和系统

说明书

本发明提出一种在新闻播报时翻译文字和手语的方法及系统，方法包括以下步骤：建立本地语言和手语表达句子数据库；从源设备接收新闻播报的音频馈送和视觉馈送；在音频提要中为句子标记时间标记；在保留标记的时间标记的同时，将句子转换为本地数据库中翻译后的本地语言句子，通过将子矩阵的元素替换为当前矩阵中左上分区的舒尔补数，进行迭代矩阵处理，以使手语表达与翻译后的句子迅速完成同步；收看人设备接收到视觉馈送和翻译后的本地语言句子以及手语表达。本发明提供一种在新闻节目中实时翻译的方法和系统，能够提高语言、手语流媒体表达翻译的准确性以及速度。

技术领域

本发明涉及一种用于在新闻节目实时翻译的方法和系统。特别地，描述了具有用于新闻节目实时播报中翻译文字和手语的功能。

背景技术

现有技术主要存在的问题是，当前的产品缺乏实时翻译功能。一个常见的障碍是语言障碍，中国有56中民族以及各民族的语言，有些少数民族的人可能无法听得懂普通话也就是说在新闻报道中听不懂在说什么。此外，目前还没有在新闻报道中有实时翻译的功能，只能在新闻报道完以后去翻译在报道这样导致时间的浪费以及会对节目调整有所影响。

另外一个问题是，还有部分特殊观众因为其身体本身的问题，例如聋哑疾病，平时更习惯使用手语进行信息的传递和交流，而主流媒体的新闻节目，大部分是不配手语播音员的同步播报，同样的，对于少数民族群体，手语的习惯交流方式与普通话交流存在区域性的差别。即便是主流媒体受众最广的手语播报，少数民族观众也可能不太理解。因此，导致少数民族地区观众更习惯和愿意选择地方频道的节目进行信息接收。

另外一个问题是，现有技术中存在通过虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；再对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；最后对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报技术。

由于手语是有两个基本结构，手势-口型模式和手势-表情模式分别发展的，釆用哪种模式完全取决于语言能力与语言习惯，这两种模式在语法上有时候也是不同的，可以说他们是两种不同语言。这也导致现有技术的建模-虚拟动画表达无法覆盖少数民族地区。同时，事实证明现有技术的映射-计算帧权-视频流处理技术延迟极为严重，无法与文字翻译内容对应同步实现，同时，也未能按照手语结构的基本构成法设计，输出效果不佳。

因此，需要一种新颖的方法或新颖的系统，其具有用于实时新闻报道的小语种翻译语言和局部地区习惯手语屏幕表达功能，其可实时观看，以简化再用花费时间来翻译后再播的一系列的问题。此外，结合附图和本公开的背景，根据随后的详细描述和所附权利要求，其他期望的特征和特性将变得显而易见。

发明内容

为了解决上述技术问题至少之一，本发明的一个目的在于提供一种在新闻节目中实时翻译的方法和系统，能够提高语言、手语流媒体表达翻译的准确性以及速度。

根据本发明的第一方面，公开了一种用于在新闻报道期间实时翻译语言的方法。该方法包括以下步骤：建立本地语言和手语表达的句子数据库，从源设备接收实时播报的音频馈送和视觉馈送；以均匀的块长度进行划分，将视觉馈送划分为视觉馈送分区，将音频馈入划分为音频馈送分区；并为音频供稿中的每个句子添加时间标记。该方法还包括以下步骤：在保留标记的时间标记的同时，将每个句子转换为翻译后的句子，每个翻译后的句子与视觉馈送分区之一和音频馈送分区之一相关联。在将第二视觉提要分区，第二音频提要分区以及具有标记的时间标记的相关翻译语句发送到接收方设备之前，在将第一视觉提要分区发送给接收方设备之间等待时间延迟到期。

根据本发明的第二方面，描述了一种用于在新闻播报期间翻译语言的系统，该系统包括至少一个服务器被配置为执行上述方法中的任何一个。