[发明专利]字幕处理方法、装置及电子设备

权利要求书

1.一种字幕处理方法，其特征在于，所述方法包括：

按照预设方式生成视频语音中的各噪音片段对应的第一字幕；

显示每段所述第一字幕和预设控件；

在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；

其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕，预设参数包括以下至少之一：语音片段的声音归属者信息、语音片段匹配的视频图像帧中人物信息以及语音片段与上下文的语义连贯度；

对所述第一字幕的处理包括以下至少之一：删除、恢复以及编辑。

2.根据权利要求1所述的方法，其特征在于，所述按照预设方式生成视频语音中的各噪音片段对应的第一字幕的步骤，包括：

将视频语音划分为多个语音片段；

分别确定各所述语音片段所属的类别；

将第一类别中包含的各语音片段确定为待筛选语音片段，其中，所述第一类别中包含的语音片段数量小于预设数量；

针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪音片段；

分别将各所述噪音片段转换为第一字幕。

3.根据权利要求2所述的方法，其特征在于，针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪声片段的步骤，包括：

针对各所述待筛选语音片段，确定所述待筛选语音片段的声音归属者的第一人物信息；

确定所述待筛选语音片段对应的视频图像帧中人物的第二人物信息；

所述第一人物信息与所述第二人物信息不匹配的情况下，确定所述待筛选语音片段为噪音片段，其中，第一人物信息和第二人物信息包括：人物性别和人物类型；

在所述第一人物信息与所述第二人物信息匹配的情况下，确定所述待筛选语音片段与上下文的语义是否连贯；

在所述待筛选语音片段与上下文的语义不连贯的情况下，确定所述待筛选语音片段为噪音片段。

4.根据权利要求2所述的方法，其特征在于，所述分别确定各所述语音片段所属的类别的步骤，包括：

分别提取各所述语音片段的语音特征向量；

将语音特征向量相似度大于预设相似度的各所述语音片段，划分至同一类别。

5.根据权利要求1所述的方法，其特征在于，所述按照预设方式生成视频语音中的各噪音片段对应的第一字幕的步骤，包括：

将所述视频语音转换成字幕文本；

将所述字幕文本和视频图像输入预先训练的多模态模型中，筛选得到各段噪音片段对应的第一字幕。

6.一种字幕处理装置，其特征在于，所述装置包括：

生成模块，用于按照预设方式生成视频语音中的各噪音片段对应的第一字幕；

显示模块，用于显示每段所述第一字幕和预设控件；

处理模块，用于在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；

其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各噪音片段对应的第一字幕，预设参数包括以下至少之一：语音片段的声音归属者信息、语音片段匹配的视频图像帧中人物信息以及语音片段与上下文的语义连贯度；

对所述第一字幕的处理包括以下至少之一：删除、恢复以及编辑。

7.根据权利要求6所述的装置，其特征在于，所述生成模块包括：

第一子模块，用于将视频语音划分为多个语音片段；

第二子模块，用于分别确定各所述语音片段所属的类别；

第三子模块，用于将第一类别中包含的各语音片段确定为待筛选语音片段，其中，所述第一类别中包含的语音片段数量小于预设数量；

第四子模块，用于针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪音片段；

第五子模块，用于分别将各所述噪音片段转换为第一字幕。