[发明专利]语音与人脸图像的匹配方法、装置、存储介质及电子设备

权利要求书

1.一种语音与人脸图像的匹配方法，其特征在于，包括：

获取待匹配的语音和多个人脸图像；

根据跨模态特征提取网络，对所述语音以及多个所述人脸图像进行特征提取，获得语音特征向量以及多个人脸特征向量；

计算所述语音特征向量与多个所述人脸特征向量之间的距离；

将距离最小的人脸特征向量对应的人脸作为与所述语音的匹配结果。

2.如权利要求1所述的匹配方法，其特征在于，所述跨模态特征提取网络通过以下方式获得：

构建基于深度神经网络的说话人识别预训练模型以及基于深度神经网络的人脸识别预训练模型，并准备音频、人脸数据集；

获取说话人识别预训练模型去除最后一层分类层的剩余网络，并附加零个或若干个全连接层来构成跨模态特征提取网络的第一路网络；

获取人脸识别预训练模型去除最后一层分类层的剩余网络，并附加若干个全连接层来构成跨模态特征提取网络的第二路网络；

复制所述第二路网络构成跨模态特征提取网络的第三路网络；

设置网络初始参数，所有从所述说话人识别预训练模型或从所述人脸识别预训练模型迁移过来的网络层，均采用所述预训练模型的参数，所有新增的所述附加全连接层，均对其参数进行随机初始化；

对音频、人脸数据集进行采样，生成所述三路神经网络的输入三元组，将所述三元组输入三路神经网络，根据三元组损失函数计算损失，并利用误差反向传播算法对各层的参数进行更新。

3.如权利要求2所述的匹配方法，其特征在于，所述跨模态特征提取网络的输入三元组和三元组损失函数包括:

所述三元组vⁱ,fⁱ,f^j包括语音输入vⁱ，第一人脸输入fⁱ以及第二人脸输入f^j，所述第一人脸输入fⁱ为与语音输入vⁱ匹配的人脸，即该人脸图像对应的人说了该段语音，所述第二人脸输入f^j为与语音输入vⁱ不匹配的人脸，即该人脸图像对应的人不是说了该段语音的人；

所述三元组损失函数为：

其中，v_emb表示语音特征向量，f_emb表示人脸特征向量，d(x,y)表示距离度量函数，m是距离阈值。

4.一种语音与人脸图像的匹配方法，其特征在于，包括：

获取待匹配的人脸图像和多个语音；

根据跨模态特征提取网络，对所述人脸图像以及多个所述语音进行特征提取，获得人脸特征向量以及多个语音特征向量；

计算所述人脸特征向量与多个所述语音特征向量之间的距离；

将距离最小的语音特征向量对应的语音作为与所述人脸的匹配结果。

5.一种语音与人脸图像的匹配装置，其特征在于，包括：

获取模块，用于获取待匹配的语音和多个人脸图像；

特征向量提取模块，用于根据跨模态特征提取网络，对所述语音以及多个所述人脸图像进行特征提取，获得语音特征向量以及多个人脸特征向量；

距离计算模块，用于计算所述语音特征向量与多个所述人脸特征向量之间的距离；

匹配模块，用于将距离最小的人脸特征向量对应的人脸图像作为与所述语音的匹配结果。

6.一种语音与人脸图像的匹配装置，其特征在于，包括：

获取模块，用于获取待匹配的人脸图像和多个语音；

特征向量提取模块，用于根据跨模态特征提取网络，对所述人脸图像以及多个所述语音进行特征提取，获得人脸特征向量以及多个语音特征向量；

距离计算模块，用于计算所述人脸特征向量与多个所述语音特征向量之间的距离；

匹配模块，用于将距离最小的语音特征向量对应的语音作为与所述人脸图像的匹配结果。

7.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-4任意一项所述的语音与人脸图像的匹配方法。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4任意一项所述的语音与人脸图像的匹配方法。