[发明专利]一种基于人工智能的字幕生成方法和装置

说明书

本申请实施例公开了一种基于人工智能的字幕生成方法和装置，至少涉及人工智能中的语音处理技术和自然语言处理技术，针对多个语音片段，通过语音识别得到多个语音片段分别对应的文本并确定静音片段的时间长度。根据音频流时间轴的顺序，从目标语音片段开始依次确定静音片段的时长是否大于预设时长，将处于大于预设时长的目标静音片段与目标语音片段之间的语音片段所对应文本加入待处理文本组，以待处理文本组中的分隔符作为确定字幕文本的依据。分隔符间的文本部分属于完整句子，能够体现合理的语义，且根据预设时长可以确定出静音片段是否为句子间的表达停顿，从而降低字幕文本出现不完整句子的可能性，能够帮助收看音视频的用户理解音视频内容。

本申请对申请号为201811355311.4，申请日为2018年11月14日，发明名称为“一种字幕生成方法和装置”的中国专利申请提出分案申请。

技术领域

本申请涉及音频处理领域，特别是涉及一种基于人工智能的字幕生成方法和装置。

背景技术

用户在收看一些音视频例如网络直播、电影时，可以通过音视频展示画面上显示的字幕理解音视频内容。

在传统的音视频字幕生成方式中，主要根据静音片段来处理音频流，以便生成字幕。静音片段可以是音视频的音频流中没有语音的片段，根据静音片段将音频流切分为多个语音片段，其中，可以将任一个语音片段中语音对应的文本生成这一语音片段的字幕。

然而，由于传统方式只是根据静音片段这种单一的音频信号特征来切分音频流，难以区分人物表达中一句话内的表达停顿和句子间的表达停顿，从而经常会切分出不当的语音片段，从而以此生成的字幕将包括不完整的句子，难以帮助用户理解音视频内容，甚至还会误导用户，造成不良体验。

发明内容

为了解决上述技术问题，本申请提供了一种字幕生成方法和装置，通过分隔符确定出的字幕文本中出现不完整句子的可能性大大降低，将该字幕文本作为所对应音频流时间轴区间的字幕进行展示时，能够帮助收看音视频的用户理解音视频内容，提高了用户体验。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种字幕生成方法，所述方法包括：

获取来自同一个音频流、且根据静音片段切分的多个语音片段；

对所述多个语音片段进行语音识别，得到所述多个语音片段分别对应的文本，所述多个语音片段分别对应的文本中包括根据文本语义添加的分隔符；

在根据所述多个语音片段中目标语音片段所对应文本确定字幕时，确定待处理文本组，所述待处理文本组至少包括所述目标语音片段对应的文本；

根据所述待处理文本组中的分隔符从所述待处理文本组中确定字幕文本；

将所述字幕文本作为所对应音频流时间轴区间的字幕。

第二方面，本申请实施例提供一种字幕生成装置，所述装置包括获取单元、识别单元、第一确定单元、第二确定单元和生成单元：

所述获取单元，用于获取来自同一个音频流、且根据静音片段切分的多个语音片段；

所述识别单元，用于对所述多个语音片段进行语音识别，得到所述多个语音片段分别对应的文本，所述多个语音片段分别对应的文本中包括根据文本语义添加的分隔符；

所述第一确定单元，用于在根据所述多个语音片段中目标语音片段所对应文本确定字幕时，确定待处理文本组，所述待处理文本组至少包括所述目标语音片段的文本；

所述第二确定单元，用于根据所述待处理文本组中的分隔符从所述待处理文本组中确定字幕文本；

所述生成单元，用于将所述字幕文本作为所对应音频流时间轴区间的字幕。