[发明专利]一种字幕生成方法、装置、设备及存储介质有效
申请号: | 202010719394.1 | 申请日: | 2020-07-23 |
公开(公告)号: | CN111901538B | 公开(公告)日: | 2023-02-17 |
发明(设计)人: | 曾衍;常为益;付平非;郑起凡;林兆钦 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | H04N5/278 | 分类号: | H04N5/278;H04N21/439;H04N21/488;H04N21/81 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 王雪 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 字幕 生成 方法 装置 设备 存储 介质 | ||
1.一种字幕生成方法,其特征在于,所述方法包括:
响应于针对目标音视频文件中至少一个音频轨道的字幕生成触发操作,分别对所述至少一个音频轨道中每个音频轨道上的音频数据进行语音识别,得到每个音频轨道对应的文字片段,其中,所述文字片段具有开始显示时间和结束显示时间;
基于每个文字片段的所述开始显示时间,对每个音频轨道对应的文字片段进行综合排序;
判断综合排序后的相邻文字片段中前一个文字片段的结束显示时间是否晚于后一个文字片段的开始显示时间;
如果所述前一个文字片段的结束显示时间晚于所述后一个文字片段的开始显示时间,则将所述前一个文字片段的结束显示时间更新为所述后一个文字片段的开始显示时间,以使所述前一个文字片段的结束显示时间不晚于所述后一个文字片段的开始显示时间;
基于时间轴对各个文字片段进行合并,生成所述目标音视频文件的字幕。
2.根据权利要求1所述的方法,其特征在于,在所述基于时间轴对每个文字片段进行合并,生成所述目标音视频文件的字幕之前,还包括:
确定所述开始显示时间相同的文字片段中,所述结束显示时间最晚的文字片段;
将所述开始显示时间相同的文字片段中,除所述结束显示时间最晚的文字片段之外的其他文字片段删除。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于针对所述字幕的调整操作,对所述字幕进行更新;其中,所述调整操作包括增加操作、删除操作或修改操作。
4.根据权利要求1所述的方法,其特征在于,所述基于每个音频轨道对应的文字片段,生成所述目标音视频文件的字幕之后,还包括:
基于所述目标音视频文件的变速播放倍数,对所述目标音视频文件的字幕进行显示时间压缩。
5.一种字幕生成装置,其特征在于,所述装置包括:
识别模块,用于响应于针对目标音视频文件中至少一个音频轨道的字幕生成触发操作,分别对所述至少一个音频轨道中每个音频轨道上的音频数据进行语音识别,得到每个音频轨道对应的文字片段,其中,所述文字片段具有开始显示时间和结束显示时间;
生成模块,用于基于每个音频轨道对应的文字片段,生成所述目标音视频文件的字幕;所述生成模块,包括:
排序子模块,用于基于每个文字片段的所述开始显示时间,对每个音频轨道对应的文字片段进行综合排序;
判断子模块,用于判断综合排序后的相邻文字片段中前一个文字片段的结束显示时间是否晚于后一个文字片段的开始显示时间;
压缩子模块,用于在所述前一个文字片段的结束显示时间晚于所述后一个文字片段的开始显示时间时,将所述前一个文字片段的结束显示时间更新为所述后一个文字片段的开始显示时间,以使所述前一个文字片段的结束显示时间不晚于所述后一个文字片段的开始显示时间;
生成子模块,用于基于时间轴对各个文字片段进行合并,生成所述目标音视频文件的字幕。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
确定模块,用于确定所述开始显示时间相同的文字片段中,所述结束显示时间最晚的文字片段;
删除模块,用于将所述开始显示时间相同的文字片段中,除所述结束显示时间最晚的文字片段之外的其他文字片段删除。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备实现如权利要求1-4任一项所述的方法。
8.一种设备,其特征在于,包括:存储器,处理器,及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-4任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010719394.1/1.html,转载请声明来源钻瓜专利网。