[发明专利]一种字幕生成方法和装置

说明书

本申请提供了一种字幕生成方法和装置，其中，方法包括：检测目标视频中所包含人物的状态和/或目标视频的音频波形幅值，根据目标视频中所包含人物的状态和/或目标视频的音频波形幅值，判断目标视频中是否有在说话的目标人物，若判定目标视频中有在说话的目标人物，则开始获取目标视频的语音识别结果，直至根据目标人物的状态和/或目标视频的音频波形幅值判定目标人物不再说话，最后根据获取的语音识别结果生成目标人物对应的字幕信息。本申请能够基于目标视频中所包含人物的状态和/或目标视频的音频波形幅值，生成目标视频所包含的各个人物分别对应的字幕信息，生成的字幕信息效果更好。

技术领域

本申请涉及多媒体处理技术领域，特别是涉及一种字幕生成方法和装置。

背景技术

现有的媒体视频在播放时，通常需要同步加上字幕信息，以便于媒体视频观看者更好地理解、把握媒体视频传递的信息内容。

目前，媒体视频匹配的字幕信息的生成方式有两种，第一种为人工添加方式，即字幕添加人员记录媒体视频中的音频信息对应的文字信息，然后将记录的文字信息添加至视频中，形成音频信息对应的字幕信息，然而人工添加字幕信息的方式时间成本高，需要耗费大量的人力资源，效率较低；第二种为语音识别方式，即对媒体视频中的音频信息进行语音识别，获得音频信息对应的文字信息，然后基于文字信息生成音频信息对应的字幕信息，然而语音识别只能做到“听声出字”，但是做不到“听谁在说”，因此无法生成媒体视频中所包含的各个人物分别对应的字幕信息，生成的字幕信息效果较差。

发明内容

有鉴于此，本申请提供了一种字幕生成方法和装置，用于生成目标视频所包含的各个人物分别对应的字幕信息，其技术方案如下：

一种字幕生成方法，包括：

检测目标视频中所包含人物的状态和/或目标视频的音频波形幅值，其中，人物的状态包括指示人物未说话的第一状态和指示人物在说话的第二状态；

根据目标视频中所包含人物的状态和/或目标视频的音频波形幅值，判断目标视频中是否有在说话的目标人物；

若判定目标视频中有在说话的目标人物，则开始获取目标视频的语音识别结果，直至根据目标人物的状态和/或目标视频的音频波形幅值判定目标人物不再说话；

根据获取的语音识别结果生成目标人物对应的字幕信息。

可选的，根据目标视频中所包含人物的状态，判断目标视频中是否有在说话的目标人物，包括：

若目标视频中有由第一状态切换为第二状态的人物，则判定目标视频中有在说话的目标人物。

可选的，根据目标视频中所包含人物的状态和/或目标视频的音频波形幅值，判断目标视频中是否有在说话的目标人物，包括：

若目标视频中有由第一状态切换为第二状态的人物，且目标视频的音频波形幅值大于或等于预设的幅值阈值，则判定目标视频中有在说话的目标人物。

可选的，根据获取的语音识别结果生成目标人物对应的字幕信息，包括：

根据获取的语音识别结果在指定字幕轨道上生成目标人物对应的字幕信息，其中，不同目标人物对应的字幕信息所对应的字幕轨道不同。

可选的，还包括：

获取目标人物的角色信息和/或标签信息；

根据获取的语音识别结果生成目标人物对应的字幕信息，包括：

根据获取的语音识别结果和目标人物的角色信息和/或标签信息，生成目标人物对应的字幕信息。

一种字幕生成装置，包括：检测模块、目标人物判断模块、语音识别结果获取模块和字幕信息生成模块；