[发明专利]一种多媒体语音字幕生成的系统和方法

说明书

技术领域

本发明属于多媒体字幕领域，具体涉及一种多媒体语音字幕生成的系统和方法。

背景技术

影视节目上字幕是国家广电总局的规定和硬性要求。多媒体中的音频语音及时转换成文字并生成字幕，目前是属于速记和字幕员的任务。影视节目中的音频语音生成字幕可分为两类：

第一类：没有撰写好的语音标准文档（即台词）

这一类影视节目的音频语音字幕的生成包含两方面的工作。首先把没有语音标准文档（即台词）的音频语音转换为文字，俗称“扒词”。目前仍为人工键盘速记完成，电视台和影视公司一般外包给速记公司完成。其次，根据“扒好的词”，由字幕员应用相应的字幕软件手工完成时间轴，俗称为“拍字幕”。这两项工作对于影视公司来说，是“烦人”的工作，且效率低，工序繁多。电视台和影视公司为此要付出大量的人力和物力。

第二类：已经具有撰写好的语音标准文档（即台词）

这一类影视作品的音视频语音字幕的生成一般是植入“台词”后，通过拍字幕软件手工完成时间轴和字幕后期。其中台词植入后的手工拍字幕仍要付出大量的人力物力。

在现有技术中（专利号：201220227996.6（已授权）、专利申请号201310148995.1（实质审查中）、201510364419X）实现了精准完成连续自然语音文本化，该技术很好的解决了影视字幕前期的“扒词”的难题；在此基础上，根据时间戳，进一步实现了为影视字幕自动生成SRT或可适用于Final Cut Pro（该软件运行于MAC OS）的XML文件，解决了影视字幕依靠手工“拍字幕”的难题。

发明内容

为了解决上述问题，本发明提供一种多媒体语音字幕生成系统，所述字幕生成系统包括控制模块、字幕处理模块、语音处理模块、校对分段模块和字幕输出模块，所述字幕处理模块、语音处理模块、校对分段模和字幕输出模块均连接在所述控制模块上，所述控制模块另一端连接云端服务器；

进一步地，所述控制模块包括音视频获取单元和存储集成单元，所述音视频获取单元连接所述存储集成单元，所述音视频获取单元输出为获取的要生成字幕的多媒体音视频文件或音视频流，所述存储集成单元内包括获取的音视频文件、执行标准和系统所生成的文件；

进一步地，所述字幕处理模块包括字数选择单元、行数选择单元和显示标准生成单元，所述字数选择单元通过行数选择单元连接所述显示标准生成单元，所述字数选择单元和显示标准生成单元另一端均连接所述控制模块；

进一步地，所述字数选择单元为控制模块提供的影视节目有关规定或要求屏幕单行显示的最多字数，所述行数选择单元为根据影视节目有关规定或要求所确定显示行数，所述显示标准生成模块输出为自动进行换行换帧显示的显示标准；

进一步地，所述语音处理模块包括音频分析单元、音频识别单元和音频切分单元，所述音频分析单元通过所述音频识别单元连接所述音频切分单元；

进一步地，所述音频分析单元输出为音视频文件分析出的独立于视频文件中的无语音段、音乐段和噪音段的字幕语音段，所述音频识别单元包括无语音标准文档模型和有语音标准文档模型；

进一步地，所述无语音标准文档模型，音频识别单元输出为通过云端语音识别引擎转化文本，完成“扒词”工作的字幕语音段，所述有语音标准文档模型输出为包括字幕和语音的字幕语音段；

进一步地，所述云端语音识别引擎包括汉语语音分节处理模块和汉语语音识别模块；所述的汉语语音分节处理模块将输入的语音切分成小节，使得切分点在语音的停顿处或一句话完结处，所述切分点为语音能量的低点，汉语语音分节处理模块输出为针对输入语音的分段时间信息；所述汉语语音识别模块包括：汉语语音特征抽取单元、汉语语音到文字转换识别单元、汉语语音文字关联信息单元、汉语强制切分单元、汉语拼音标注单元、汉语日常词汇单元、汉语声学模型单元、汉语语言模型单元及新词自适应识别单元；

进一步地，所述音频切分单元输出为语音切分模型、断句分行模型、显示标准切分模型和语音字幕合成模型，所述语音切分模型将影视音频语音，依语意自动切分为分节语音片段，所述断句分行模型将影视作品的标准文档依语意断句分行显示，所述显示标准切分模型由波形图调整段句的切分，保证与显示标准相同，所述语音字幕合成模型将分行显示的显示标准文件调入音频片段进行语音与字幕的合成；

进一步地，所述校对分段模块包括字幕校对单元和字幕分段单元，所述字幕校对单元连接所述字幕分段单元；