[发明专利]基于场景识别的语音处理方法及其装置、介质和系统

权利要求书

1.一种用于电子设备的基于场景识别的语音处理方法，其特征在于，所述方法包括：

在检测到所述电子设备进行视频录入的情况下，获取当前录入的视频中的图像数据和音频数据；

对所述图像数据和音频数据进行特征提取，得到所述图像数据的图像特征和所述音频数据的音频特征；

对提取出来的所述图像特征和音频特征进行识别，识别出所述电子设备当前录入视频所处的场景类别；

基于识别出的场景类别，对所述电子设备实时录入的视频中的音频数据进行处理，并输出处理后的音频数据和对应的图像数据。

2.根据权利要求1所述的基于场景识别的语音处理方法，其特征在于，所述对所述图像数据和音频数据进行特征提取，得到所述图像数据的图像特征和所述音频数据的音频特征，包括：

对所述图像数据进行结构化处理得到所述图像数据的图像特征，并且对所述音频数据进行傅里叶变换得到所述音频数据的音频特征。

3.根据权利要求1所述的基于场景识别的语音处理方法，其特征在于，所述基于识别出的场景类别，对所述电子设备实时录入的视频中的音频数据进行处理，并输出处理后的音频数据和对应的图像数据，包括：

基于识别出的场景类别，选择与所述场景类别对应的降噪处理算法、均衡处理方式、自动增益控制方式和动态范围控制方式；

基于选择出的降噪处理算法、均衡处理方式、自动增益控制方式和动态范围控制方式对所述电子设备实时录入的视频中的音频数据进行处理；

输出处理后的音频数据和对应的图像数据。

4.根据权利要求1所述的基于场景识别的语音处理方法，其特征在于，所述电子设备进行视频录入的情况包括：视频拍摄、视频直播或视频通话。

5.根据权利要求4所述的基于场景识别的语音处理方法，其特征在于，还包括：

确定出所述电子设备进行视频录入的情况为视频直播或者视频通话；

基于当前录入的视频中的音频数据，识别出进行视频直播或者视频通话的用户的人声；并且

所述基于识别出的场景类别，对所述电子设备实时录入的视频中的音频数据进行处理，并输出处理后的音频数据和对应的图像数据，包括：

基于识别出的场景类别和所述用户的人声，对所述电子设备实时录入的视频中的音频中的人声进行增强处理，对所述音频数据中人声以外的声音做降噪处理，并输出处理后的音频数据和对应的图像数据。

6.根据权利要求5所述的基于场景识别的语音处理方法，其特征在于，所述基于当前录入的视频中的音频数据，识别出进行视频直播或者视频通话的用户的人声，包括：

基于当前录入的视频中的音频数据，通过信号处理和NN网络的方法中的至少一种，识别出进行视频直播或者视频通话的用户的人声。

7.根据权利要求5所述的基于场景识别的语音处理方法，其特征在于，所述方法还包括：基于当前录入的视频中的图像数据，识别出进行视频直播或者视频通话的用户的人像；

所述用户的人像是通过以下方式识别出来的：

对当前录入的视频中的图像数据进行识别；

当识别出所述图像数据中对应一个人像的尺寸大于预设阈值时，识别出该人像为进行视频直播或者视频通话的用户的人像。

8.一种基于场景识别的语音处理方法，其特征在于，所述方法包括：

获取待处理视频；

对所述待处理视频中的至少部分视频中的图像数据和音频数据进行特征提取，以得到所述图像数据的图像特征和音频数据的音频特征；

对提取出来的所述图像特征和音频特征进行识别，识别出所述待处理视频中场景的场景类别；

基于识别出的场景类别，对所述待处理视频中的音频数据进行处理。