[发明专利]语音与人脸图像的匹配方法、装置、存储介质及电子设备

说明书

本发明公开了一种语音与人脸图像的匹配方法、装置、存储介质及电子设备，方法包括：获取待匹配的语音和多个人脸图像；根据跨模态特征提取网络，对所述语音以及多个所述人脸图像进行特征提取，获得语音特征向量以及多个人脸特征向量；计算所述语音特征向量与多个所述人脸特征向量之间的距离；将距离最小的人脸特征向量对应的人脸图像作为与所述语音的匹配结果。本发明提供的语音与人脸图像的匹配方法、装置、存储介质及电子设备，可以实现跨模态的检索匹配。

技术领域

本发明是关于跨模态的匹配方法，特别是关于一种语音与人脸图像的匹配方法、装置、存储介质及电子设备。

背景技术

现有的人脸识别技术和声纹识别技术均可被应用于各个领域的身份认证和验证的问题，如金融、公安司法、安全保卫等领域。基于人脸识别的身份验证要求系统数据库中已经存有目标对象的人脸，且在应用中可以获取到目标对象的人脸。基于声纹识别的身份验证要求系统数据库中已经存有目标对象的声纹，且在应用中可以获取到目标对象的声纹。也就是不论是人脸识别还是声纹识别，都要求待验证的内容和系统已有的内容是相同模态的，即同为人脸或同为声音。

而一些特定应用场景中，系统库中存储的和应用现场获取的内容并不是相同模态的。特定应用情景下，仅能得到未在说话人识别中注册过的音频，希望能够得到其人脸的相关信息，例如警方探案时有时只能得到嫌疑人音频，和多个嫌疑人的人脸或者公民的人脸数据库时，如何进行匹配和检索，这是一个较为空缺的领域，没有相关的较高精度的实现。

基于此，本申请的发明人发现，虽然单独的人脸识别和说话人识别都达到了很高的精度，但没有技术中并不存在通过说话人声音匹配和检索人脸的方法。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种语音与人脸图像的匹配方法、装置、存储介质及电子设备，其能够实现跨模态的检索。

为实现上述目的，本发明提供了一种语音与人脸图像的匹配方法，包括：获取待匹配的语音和多个人脸图像；根据跨模态特征提取网络，对所述语音以及多个所述人脸图像进行特征提取，获得语音特征向量以及多个人脸特征向量；计算所述语音特征向量与多个所述人脸特征向量之间的距离；将距离最小的人脸特征向量对应的人脸作为与所述语音的匹配结果。

在一优选的实施方式中，所述跨模态特征提取网络通过以下方式获得：构建基于深度神经网络的说话人识别预训练模型以及基于深度神经网络的人脸识别预训练模型，并准备音频、人脸数据集；获取说话人识别预训练模型去除最后一层分类层的剩余网络，并附加零个或若干个全连接层来构成跨模态特征提取网络的第一路网络；获取人脸识别预训练模型去除最后一层分类层的剩余网络，并附加若干个全连接层来构成跨模态特征提取网络的第二路网络；复制所述第二路网络构成跨模态特征提取网络的第三路网络；设置网络初始参数，所有从所述说话人识别预训练模型或从所述人脸识别预训练模型迁移过来的网络层，均采用所述预训练模型的参数，所有新增的所述附加全连接层，均对其参数进行随机初始化；对音频、人脸数据集进行采样，生成所述三路神经网络的输入三元组，将所述三元组输入三路神经网络，根据三元组损失函数计算损失，并利用误差反向传播算法对各层的参数进行更新。

在一优选的实施方式中，所述跨模态特征提取网络的输入三元组和三元组损失函数包括:所述三元组vⁱ,fⁱ,f^j包括语音输入vⁱ，第一人脸输入fⁱ以及第二人脸输入f^j，所述第一人脸输入fⁱ为与语音输入vⁱ匹配的人脸，即该人脸图像对应的人说了该段语音，所述第二人脸输入f^j为与语音输入vⁱ不匹配的人脸，即该人脸图像对应的人不是说了该段语音的人；