[发明专利]多模态语音分离方法、训练方法及相关装置

说明书

本申请公开了一种多模态语音分离方法、训练方法及相关装置，所述多模态语音分离方法，包括：获得包含目标用户的唇部视频信息和音频信息；根据所述唇部视频信息、所述音频信息和训练后的多模态语音分离网络获得所述目标用户的语音；其中，所述多模态语音分离网络中包括唇形特征提取子网络，且在训练所述多模态语音分离网络之前采用无监督训练集对所述唇形特征提取子网络进行预训练。通过上述方式，本申请能够提高多模态语音分离网络对各类语种、各类方言的泛化性。

技术领域

本申请属于语音识别技术领域，具体涉及一种多模态语音分离方法、训练方法及相关装置。

背景技术

随着人机交互方式的不断发展，从传统的触控交互，到语音交互，再到现在的多模态人机交互，其所带来的高效、便捷、舒适、安全等特点成为用户新的追求。多模态语音分离作为多模态前端最重要的技术之一，成为相关领域研究人员研究的热点。其中，多模态语音分离的效果、运行效率、以及在各类语种及方言上的通用性等是最核心的问题。

发明内容

本申请提供一种多模态语音分离方法、训练方法及相关装置，以提高多模态语音分离网络对各类语种、各类方言的泛化性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种多模态语音分离方法，包括：获得包含目标用户的唇部视频信息和音频信息；根据所述唇部视频信息、所述音频信息和训练后的多模态语音分离网络获得所述目标用户的语音；其中，所述多模态语音分离网络中包括唇形特征提取子网络，且在训练所述多模态语音分离网络之前采用无监督训练集对所述唇形特征提取子网络进行预训练。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种多模态语音分离网络训练方法，包括：采用无监督训练集对包含唇形特征提取子网络的第一唇形识别网络进行训练；利用训练后的所述第一唇形识别网络中的所述唇形特征提取子网络的参数更新第二唇形识别网络中唇形特征提取子网络的参数，并采用有监督训练集对所述第二唇形识别网络进行训练；利用训练后的所述第二唇形识别网络中的所述唇形特征提取子网络的参数更新所述多模态语音分离网络中所述唇形特征提取子网络的参数，并采用分离网络训练集训练所述多模态语音分离网络。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种多模态语音分离装置，包括：第一获得模块，用于获得包含目标用户的唇部视频信息和音频信息；第二获得模块，用于根据所述唇部视频信息、所述音频信息和训练后的多模态语音分离网络获得所述目标用户的语音；其中，所述多模态语音分离网络中包括唇形特征提取子网络，在训练所述多模态语音分离网络之前采用无监督训练集对所述唇形特征提取子网络进行预训练。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现上述任一实施例中所述的多模态语音分离方法、或上述任一实施例中所述的多模态语音分离网络训练方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述任一实施例中所述的多模态语音分离方法，或上述任一实施例中所述的多模态语音分离网络训练方法。

区别于现有技术情况，本申请的有益效果是：本申请所提供的多模态语音分离方法中会在训练多模态语音分离网络之前，采用无监督训练集对该多模态语音分离网络中的唇形特征提取子网络进行无监督训练。虽然无监督训练集中的训练数据无标签，但唇形特征训练的目标仍然是音素，该训练过程仍然是在特征层面开展；当唇形特征提取子网络经历过大量无监督数据预训练后，可以增加模型对各种语种、各种方言的泛化性，避免过度拟合。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：