[发明专利]视频语音增强的方法及装置、电子设备和存储介质

权利要求书

1.一种视频语音增强的方法，其特征在于，包括：

获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域；

获取所述待增强视频中的人脸区域；

根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频；

将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，以得到目标视频。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频包括：

对所述待增强视频中的音频进行解码；

根据所述人脸区域及所述注意力区域对所述解码后的音频进行对齐，得到第一音频；

对所述第一音频进行背景噪声消除处理，得到第二音频；

对所述第二音频进行声轨增强处理，得到第三音频。

3.根据权利要求2所述的方法，其特征在于，所述将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，得到目标视频包括：

基于所述第三音频，确定所述待增强视频中的原始音频；

将所述语义分割后的图像主体与所述注意力区域进行融合处理，得到所述待增强视频的融合区域；

对除所述融合区域外的其他区域进行模糊处理，得到所述待增强视频的模糊区域，其中，所述模糊区域的大小根据画面深度值进行缩放得到；

将所述待增强视频的第三音频，分别与所述融合区域及模糊区域进行编码融合处理，得到所述目标视频。

4.根据权利要求1所述的方法，其特征在于，所述获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域包括：

将所述待增强视频输入多任务场景解析模型，以获取所述增强视频的单幅图片每个像素的画面深度信息、所述待增强视频的单幅图片的图像主体，以及所述待增强视频的单幅图片的注意力区域。

5.根据权利要求1-4中任一项所述的方法，其特征在于，在获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域之前，所述方法还包括：

构建视频语音增强模型，所述视频语音增强模型包含场景解析模块、人脸检测模块、音频增强模块以及融合模块。

6.根据权利要求5所述的方法，其特征在于，所述搭建视频语音增强模型包括：

配置所述场景解析模块使用多任务场景解析模型，用于实现对视频的场景解析，多任务包括语义分割任务、深度估计任务，以及注意力推断任务；

配置所述人脸检测模块使用目标检测模型，用于实现对视频中的人脸区域检测；

配置所述音频增强模块使用音频增强模型，用于将所述多任务场景解析模型中注意力推断任务的解析结果、所述目标检测模型的人脸检测结果、所述待增强视频中的音频，作为所述音频增强模块的输入，以实现音频的增强；

配置所述融合模块使用融合模型，用于将所述多任务场景解析模型中语义分割任务、深度估计任务的解析结果、以及所述音频增强模块的增强结果，所述融合模型的输入，以实现增强后的音频与视频的融合。

7.根据权利要求6所述的方法，其特征在于，对所述音频增强模型进行训练包括：

提取样本视频中的初始单声轨音频，所述样本视频中还包含带标识的注意力区域，及自定义的注意力区域；

对所述样本视频中的初始人脸框进行增强处理，得到目标人脸框；

基于所述初始单声轨音频、所述带标识的注意力区域，自定义的注意力区域，及目标人脸框，对所述音频增强模型进行训练，以得到训练好的音频增强模型。

8.根据权利要求6所述的方法，其特征在于，对所述场景解析模型进行训练包括：

将样本视频传输至主干网络，以获取所述样本视频中单幅图片的特征向量；

根据所述特征向量分别进行语义分割训练、深度估计训练，以及注意力推断训练，以得到训练好的所述多任务场景解析模型。