[发明专利]一种从多音轨视频文件中提取字幕时间轴的系统及方法

说明书

本发明公开了一种从多音轨视频文件中提取字幕时间轴的系统和方法，系统包括音轨提取模块、静音检测模块、辅助音轨模块、时间轴生成模块和时间轴优化模块。首先，提取主音轨和任一路其它音轨，然后，对两路音轨分别做音频分段，得到两组音频时间轴信息；判断第二路音轨是否可作为辅助音轨；按照主时间轴信息，逐个比对主音轨和辅助音轨的音频段，提取每一个音频差异开始点和相似开始点，记录对应的开始时间和结束时间，作为语音分段的时间轴，依次遍历所有的音频段后，得到新的语音段和对应的时间轴信息；优化语音分段的时间轴信息，得到目标字幕时间轴数据。本发明算法简单，时间轴信息准确，且提高了字幕和音视频的匹配度，使用户体验感更好。

技术领域

本发明涉及语音处理技术领域，尤其涉及一种从多音轨视频文件中提取字幕时间轴的系统及方法。

背景技术

字幕是影视作品中人物对话的文本内容，可以让不同母语的观众更好的理解影视内容。传统的字幕制作由专业制作人员完成，具体需要时间轴制作、听写、翻译和校准等几个环节。这种传统制作方式需要大量人力，流程繁琐，效率低下。随着语音识别技术和机器翻译的发展，基于这些技术的时间轴制作、字幕生成方法和系统应运而生。这些方法和系统跟传统字幕制作的流程基本一致，包括时间轴制作(音轨分段)、语音识别和机器翻译；其通过程序代替人工，极大的提高了字幕制作的效率和灵活性。

时间轴信息是字幕文件中每一句对白的开始和结束时间信息，用来保障字幕和音视频的同步播放。它的准确度要求比较高，超前或滞后都会严重影响用户体验。

现有的时间轴制作技术中，传统制作方式依靠人工听力，并借助一些辅助软件来完成；而基于语音识别的音频分段技术基于语音识别算法。目前，传统的字幕制作方法耗时耗人力，而基于语音识别和机器翻译的字幕制作的准确度有待提高。

在时间轴程序化制作方面，公告号为CN105828101A的中国专利公开了一种“生成字幕文件的方法及装置”，其中提及的音频分段是基于音量，这种算法容易实现，但缺点也很明显：一些非语音也被划为需要做语音识别的片段，对应的时间轴信息误差很大。而公告号为CN105845129A的中国专利公开了“一种在音频中切分句子的方法和系统及视频文件的字幕自动生成方法和系统”，其中提及的音频分段是基于语音识别，把静音段和非语音段定义为停顿，并记录停顿的开始和结束时间，并以此作为语音段对应的时间轴信息。其缺点是：这种基于语音识别的音频分段算法复杂；且语音识别的准确率随具体场景的波动很大，在一些背景音乐和噪声复杂的情况下准确率较低，时间轴信息准确度也会降低。

发明内容

本发明针对上述现有技术的不足，提供了一种从多音轨视频文件中提取字幕时间轴的系统及方法，其方法简单，时间轴信息准确，提高了字幕和音视频的匹配度，用户体验感更好。

为解决现有技术中存在的问题，采用的具体技术方案是：

一种从多音轨视频文件中提取字幕时间轴的方法，其包括以下步骤：

S1、从视频文件中提取用于语音识别和字幕制作的主音轨和任意一路其它音轨；

S2、通过静音检测对两路音轨分别做音频分段，并记录每一个音频段的开始和结束时间，得到两组音频时间轴信息；

S3、判断第二路音轨是否可作为辅助音轨：比较两组时间轴的各个时间信息，若两者差异较大，表明第二路音轨和主音轨不一致，重新选择第二路音轨后重复上述步骤；遍历所有音轨后依旧没有找到合适的辅助音轨则放弃后续优化；若两组时间轴信息基本一致，则选取该第二路音轨为辅助音轨；

S4、按照主时间轴信息，逐个比对主音轨和辅助音轨的音频段，提取每一个音频差异开始点和相似开始点，记录对应的开始时间和结束时间，作为语音分段的时间轴；依次遍历所有的音频段后，得到新的语音段和对应的时间轴信息；