[发明专利]一种从多音轨视频文件中提取字幕时间轴的系统及方法

权利要求书

1.一种从多音轨视频文件中提取字幕时间轴的方法，其特征在于，其包括以下步骤：

S1、从视频文件中提取用于语音识别和字幕制作的主音轨和任意一路其它音轨；

S2、通过静音检测对两路音轨分别做音频分段，并记录每一个音频段的开始和结束时间，得到两组音频时间轴信息；

S3、判断第二路音轨是否可作为辅助音轨：比较两组时间轴的各个时间信息，若两者差异较大，表明第二路音轨和主音轨不一致，重新选择第二路音轨后重复上述步骤；遍历所有音轨后依旧没有找到合适的辅助音轨则放弃后续优化；若两组时间轴信息基本一致，则选取该第二路音轨为辅助音轨；

S4、按照主时间轴信息，逐个比对主音轨和辅助音轨的音频段，提取每一个音频差异开始点和相似开始点，记录对应的开始时间和结束时间，作为语音分段的时间轴；依次遍历所有的音频段后，得到新的语音段和对应的时间轴信息；

S5、进一步优化语音分段的时间轴信息：合并多个时长较短且间隔较短的音频段；分拆时长超过一定时间的音频段；从而得到目标字幕时间轴数据。

2.根据权利要求1所述的一种从多音轨视频文件中提取字幕时间轴的方法，其特征在于，判断第二路音轨是否可作为辅助音轨的详细流程为：

1)、提取主音轨中第一个音频段的时间轴信息：开始时间T0s秒和结束时间T0e秒；

2)、检测第二音轨中是否有开始时间在T0s-0.2秒和T0s+0.2秒之间的时间轴信息，若有则匹配成功计数countS累计加一，否则匹配失败计数countF加一；

3)、重复上述步骤1和步骤2，依次遍历主音轨中后续的音频段时间轴信息，并更新匹配结果计数；

4)、遍历结束后，如果countS/(countS+countF)0.8，表明两路音轨的匹配度超过8成，该第二路音轨可设定为辅助音轨；反之则提取其他音轨重复步骤2)和3)，计算匹配度，直至检测比对完所有的音轨。

3.根据权利要求1所述的一种从多音轨视频文件中提取字幕时间轴的方法，其特征在于，参考辅助音轨，获取目标时间轴的流程如下：

A、读取主音轨第一个音频段和时间轴信息(T0s,T0e)；

B、在时间区间(T0s,T0e)内逐帧比对主音轨和辅助音轨的音频数据，寻找第一个数据差异时间点，若在当前比对时间点上辅助音频是静音，该时间点也作为差异时间点；该第一数据差异时间点就作为新时间轴中第一个音频段的开始时间NT0s；

C、再逐帧比对主音轨和辅助音轨分段数据，寻找第一个数据匹配时间点，作为新时间轴中第一音频段的结束时间NT0e；

D、重复步骤B和步骤C，循环检测数据差异点和匹配点，得到新的音轨分段和对应的时间轴信息：(NT1s，NT1e)，(NT2s，NT2e)…，(NTms，NTme)；其中，NTme＝T0e；

E、重复以上四个步骤遍历主音轨中所有的音频段(T1s，T1e)、…、(Tns，Tne)，得到主音轨语音分段和目标时间轴信息。

4.一种从多音轨视频文件中提取字幕时间轴的提取系统，其特征在于，其包括音轨提取模块、静音检测模块、辅助音轨模块、时间轴生成模块和时间轴优化模块；所述音轨提取模块与静音检测模块相连，所述静音检测模块与辅助音轨模块、时间轴生成模块均相连，所述时间轴生成模块和时间轴优化模块相连；所述音轨提取模块用于负责从是视频文件提取指定音轨数据；所述静音检测模块用于剔除音频文件中的静音部分，生成多个音频段；所述辅助音轨模块用于寻找辅助音轨；所述时间轴生成模块基于静音检测模块和的主音轨音频段和辅助音轨音频段的相似度分析，对主音轨做语音分段，并生成对应的时间轴信息；所述时间轴优化模块负责按照一定规则整理时间轴数据，包括拆分过长的时间区间和合并连续多个较短的时间区间。

5.根据权利要求4所述的一种从多音轨视频文件中提取字幕时间轴的提取系统，其特征在于，所述辅助音轨模块是基于主音轨时间轴对当前第二路音轨的时间轴做比对评估，确定辅助音轨。