[发明专利]视频人物识别方法、装置、存储介质与电子设备

权利要求书

1.一种视频人物识别方法，其特征在于，包括：

从目标视频中获取关键帧图像；

从所述关键帧图像中提取人物外观特征；

根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；

利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。

2.根据权利要求1所述的方法，其特征在于，所述人物外观特征包括人脸特征；

所述从所述关键帧图像中提取人物外观特征，包括：

检测所述关键帧图像中的人脸区域，以从所述关键帧图像中截取人脸子图像；

利用预先训练的卷积神经网络从所述人脸子图像中提取所述人脸特征。

3.根据权利要求1所述的方法，其特征在于，所述利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果，包括：

将所述人物外观特征和所述声纹特征合并，得到综合特征；

将所述综合特征输入所述融合模型，以输出所述目标视频的人物识别结果。

4.根据权利要求3所述的方法，其特征在于，在将所述人物外观特征和所述声纹特征合并前，所述方法还包括：

根据所述关键帧图像在所述目标视频中的时间，以及所述子音频在所述目标视频中的时间区间，确定时间特征；

所述将所述人物外观特征和所述声纹特征合并，得到综合特征，包括：

将所述人物外观特征、所述声纹特征和所述时间特征进行合并，得到所述综合特征。

5.根据权利要求1所述的方法，其特征在于，所述声纹特征包括梅尔频率倒谱系数；所述从所述子音频中提取声纹特征，包括：

对所述子音频进行预处理；

对预处理后的所述子音频进行傅里叶变换，得到所述子音频对应的频谱；

根据所述频谱计算出对应的幅度谱；

对所述幅度谱进行梅尔滤波处理，以计算出所述子音频的梅尔频率倒谱系数；

将所述梅尔频率倒谱系数转换为声纹特征向量，并进行后处理。

6.根据权利要求5所述的方法，其特征在于，所述预处理包括以下任意一种或多种：提取语音信号、预加重、分帧、加窗处理；

所述后处理包括以下任意一种或多种：去均值、归一化、降维处理。

7.根据权利要求5所述的方法，其特征在于，所述声纹特征还包括以下任意一种或多种：广义梅尔倒谱系数、谱包络与能量特征、基频、浊音/轻音分类特征、频带非周期分量。

8.一种视频人物识别装置，其特征在于，包括：

图像获取模块，用于从目标视频中获取关键帧图像；

第一提取模块，用于从所述关键帧图像中提取人物外观特征；

第二提取模块，用于根据所述关键帧图像在所述目标视频中的时间，从所述目标视频的音频中截取所述关键帧图像对应的子音频，从所述子音频中提取声纹特征；

特征处理模块，用于利用预先训练的融合模型对所述人物外观特征和所述声纹特征进行处理，得到所述目标视频的人物识别结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。