[发明专利]声音分离方法、装置及计算机可读存储介质

权利要求书

1.一种声音分离方法，其特征在于，所述方法包括：

获取原始音视频样本；

将原始音视频样本分割成多个音视频段，提取每个音视频段的视频流及音频流；

确定每个音视频段的视频流中的人脸特征；

利用音频变换压缩方法，获取每个音视频段的音频流中的音频特征；

通过连接学习将每个音视频段的人脸特征及音频特征进行结合，生成每个音视频段的视听特征；

将每个音视频段的视听特征作为声音分离模型的输入，对所述声音分离模型进行训练，得到训练好的声音分离模型；

获取目标音视频数据；

将所述目标音视频数据作为所述训练好的声音分离模型的输入，输出所述目标音视频数据中人的音频数据。

2.如权利要求1所述的声音分离方法，其特征在于，所述确定每个音视频段的视频流中的人脸特征包括：

将每个音视频段的视频流输入到人脸检测器中；

利用所述人脸检测器，在每个音视频段的视频流中的每帧中查找人脸图像；

使用人脸特征提取网络模型，从检测到的人脸图像中提取人脸特征作为每个音视频段的视频流中的人脸特征。

3.如权利要求2所述的声音分离方法，其特征在于，所述人脸特征提取网络模型为扩张卷积神经网络结构，所述人脸特征提取网络模型包括：卷积层、降采样层、全链接层，每一层有多个特征图。

4.如权利要求1所述的声音分离方法，其特征在于，所述利用音频变换压缩方法，获取每个音视频段的音频流中的音频特征包括：

将每个音视频段的音频流中的时间和频率参数输入到短时傅里叶变换模型，得到变换后的信号；

对变换后的信号执行幂律压缩，生成每个音视频段的音频流中噪声信号和纯净参考信号；

将每个音视频段的音频流中噪声信号和纯净参考信号输入至训练好的音频特征提取模型中，并输出每个音视频段的音频流中的音频特征。

5.如权利要求1所述的声音分离方法，其特征在于，所述将每个音视频段的视听特征作为声音分离模型的输入，对所述声音分离模型进行训练，得到训练好的声音分离模型包括：

基于每个音视频段的视听特征，利用LSTM网络及三层全链接网络训练所述声音分离模型。

6.如权利要求5所述的声音分离方法，其特征在于，所述基于每个音视频段的视听特征，利用LSTM网络及三层全链接网络训练所述声音分离模型包括：

获取第一预设数量的训练数据；

将所述第一预设数量的训练数据依次输入所述声音分离模型，利用LSTM网络及三层全链接网络训练所述声音分离模型，并利用第二预设数量的训练数据校验训练后的声音分离模型；

利用第二预设数量的训练数据校验训练后的声音分离模型，若训练后的声音分离模型的识别准确率大于或等于预设阈值，则训练完成；

若训练后的声音分离模型的识别准确率小于预设阈值，则发出提醒信息，提醒用户增加样本数量重新训练所述声音分离模型。

7.一种声音分离装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的声音分离程序，所述声音分离程序被所述处理器执行时实现如下步骤：

获取原始音视频样本；

将原始音视频样本分割成多个音视频段，提取每个音视频段的视频流及音频流；

确定每个音视频段的视频流中的人脸特征；

利用音频变换压缩方法，获取每个音视频段的音频流中的音频特征；

通过连接学习将每个音视频段的人脸特征及音频特征进行结合，生成每个音视频段的视听特征；

将每个音视频段的视听特征作为声音分离模型的输入，对所述声音分离模型进行训练，得到训练好的声音分离模型；

获取目标音视频数据；

将所述目标音视频数据作为所述训练好的声音分离模型的输入，输出所述目标音视频数据中人的音频数据。