[发明专利]基于人脸特征和声纹特征识别主播的方法及装置

权利要求书

1.一种基于人脸特征和声纹特征识别主播的方法，其特征在于，包括：

根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，所述身份特征包括人脸特征和声纹特征；

根据局部敏感哈希方法将所述身份特征存储至预先生成的哈希桶中，将与所述身份特征处于同一哈希桶内的至少一个特征作为待匹配的样本主播的身份特征；

计算所述样本主播的身份特征与所述待识别主播的身份特征间的相似度，将相似度最高的样本主播作为所述待识别主播。

2.根据权利要求1所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述神经网络模型包括检测网络模型和识别网络模型；

相应地，所述根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，包括：

从所述直播视频中截取视频图像，将所述视频图像输入所述检测网络模型，获得识别框向量，所述识别框向量用于表征视频图像中的识别框位置以及识别框内图案识别为人脸的概率；

根据所述识别框向量从视频图像中截取人脸图像，并输入至所述识别网络模型，输出人脸特征。

3.根据权利要求2所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述检测网络模型为多任务卷积神经网络；相应地，所述将所述视频图像输入所述检测网络模型，获得识别框向量，具体为：

将所述视频图像缩放为若干张不同缩放比例的图像；

将所述若干张不同缩放比例的图像输入至多任务卷积神经网络，获得每张图像的识别框向量。

4.根据权利要求3所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述根据所述识别框向量从视频图像中截取人脸图像，并输入至所述识别网络模型，输出人脸特征，具体为：

根据识别为人脸的概率最高的识别框向量从视频图像中截取人脸图像，并输入至所述识别网络模型，输出人脸特征。

5.根据权利要求1所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述神经网络模型包括深度卷积神经网络；

相应地，所述根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，包括：

将所述直播视频中的至少一帧音频信息转换为Fbank特征；

将获得的至少一个Fbank特征输入至预先训练的深度卷积神经网络中，输出声纹特征。

6.根据权利要求1-5任意一项所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述从直播视频中提取待识别主播的身份特征，具体为：

从直播视频中提取待识别主播的人脸特征和声纹特征，并将所述人脸特征和声纹特征进行拼接，将拼接后的特征作为所述身份特征。

7.根据权利要求6所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述计算所述样本主播的身份特征与所述待识别主播的身份特征间的相似度，具体为：

将所述样本主播的身份特征还原为样本主播的人脸特征和声纹特征；

将所述样本主播的人脸特征与待识别主播的人脸特征进行余弦相似度度量，将所述样本主播的声纹特征与待识别主播的声纹特征进行余弦相似度度量；

将两个度量结果分别乘以预设权重再相加，获得所述样本主播的身份特征与所述待识别主播的身份特征间的相似度。

8.一种基于人脸特征和声纹特征识别主播的装置，其特征在于，包括：

身份特征提取模块，用于根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，所述身份特征包括人脸特征和声纹特征；

映射模块，用于根据局部敏感哈希方法将所述身份特征存储至预先生成的哈希桶中，将与所述身份特征处于同一哈希桶内的至少一个特征作为待匹配的样本主播的身份特征；

相似度计算模块，计算所述样本主播的身份特征与所述待识别主播的身份特征间的相似度，将相似度最高的样本主播作为所述待识别主播。