[发明专利]一种视频的语音降噪方法和装置

权利要求书

1.一种视频的语音降噪方法，其特征在于，包括：

利用预设的场景主题识别网络模型，确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景；

当所述场景是以人为主题的场景时，对所述待处理视频对应的音频输入数据进行音轨分解，得到所述场景中所有发声者各自对应的音频数据；采用人工智能的方式，确定所述场景中的主要发声者；按照仅保留所述主要发声者的语音的策略，根据所述音频数据，得到所述待处理视频对应的音频输出数据。

2.根据权利要求1所述的方法，其特征在于，所述确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景包括：

对于所述待处理视频中的每一帧画面，利用所述场景主题识别网络模型，识别该帧画面是否以人为主题；

当以人为主题的画面在所述待处理视频中所占的比例达到预设的比例阈值时，确定所述场景是以人为主题的场景。

3.根据权利要求1所述的方法，其特征在于，所述采用人工智能的方式，确定所述场景中的主要发声者包括：

利用预设的人脸识别网络模型，对所述待处理视频中的画面进行人脸识别，并对人脸识别所得到的每张人脸的人脸关键点数据进行重组，得到相应人脸的数据矩阵；

对于每张所述人脸，将相应的所述数据矩阵输入到预设的脸部动作识别网络模型中处理，得到相应人脸的动作类别；所述动作类别包括：面向镜头讲话、非面向镜头讲话和沉默；

根据所述人脸的动作类别，确定所述场景中的主要发声者。

4.根据权利要求3所述的方法，其特征在于，所述根据每张所述人脸的动作类别，确定所述场景中的主要发声者包括：

如果所述待处理视频中仅有一人面向镜头讲话，则将该面向镜头讲话的人作为所述主要发声者；

如果所述待处理视频中有多人面向镜头讲话，则将面向镜头讲话的人中距离镜头最近的人D_near以及该D_near周围预设范围内的所有面向镜头讲话的人，作为所述主要发声者。

5.根据权利要求3所述的方法，其特征在于，所述场景主题识别网络模型、所述人脸识别网络模型和所述脸部动作识别网络模型均利用卷积神经网络模型训练得到。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

当所述场景不是以人为主题的场景时，直接将所述待处理视频对应的音频输入数据，作为所述待处理视频对应的音频输出数据。

7.一种视频的语音降噪装置，其特征在于，包括：处理器，所述处理器用于：

利用预设的场景主题识别网络模型，确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景；

当所述场景是以人为主题的场景时，对所述待处理视频对应的音频输入数据进行音轨分解，得到所述场景中所有发声者各自对应的音频数据；采用人工智能的方式，确定所述场景中的主要发声者；按照仅保留所述主要发声者的语音的策略，根据所述音频数据，得到所述待处理视频对应的音频输出数据。

8.根据权利要求7所述的装置，其特征在于，所述处理器，具体用于确定当前降噪处理周期中的待处理视频对应的场景是否是以人为主题的场景，包括：

对于所述待处理视频中的每一帧画面，利用所述场景主题识别网络模型，识别该帧画面是否以人为主题；

当以人为主题的画面在所述待处理视频中所占的比例达到预设的比例阈值时，确定所述场景是以人为主题的场景。