[发明专利]基于端到端深度神经网络的语音和人脸复合身份认证方法

权利要求书

1.一种基于端到端深度神经网络的语音和人脸复合身份认证方法，其特征在于，包括以下步骤：

A、采集预先设定的文本相关语音信号，并同步采集待识别人的面部视频信号；

B、提取步骤A中文本相关语音信号的语音声纹特征；

C、提取步骤A中面部视频信号的多帧人脸特征；

D、将步骤B中语音声纹特征和步骤C中多帧人脸特征进行连接，得到身份特征向量；

E、将步骤D中身份特征向量进行降维处理；

F、根据步骤E中降维处理后的身份特征向量采用Triplets Loss方法进行身份识别。

2.如权利要求1所述的基于端到端深度神经网络的语音和人脸复合身份认证方法，其特征在于，所述步骤B提取步骤A中文本相关语音信号的语音声纹特征，具体包括以下分步骤：

B1、对步骤A中文本相关语音信号进行预处理，得到MFCC特征向量；

B2、采用残差卷积深度神经网络ResCNN对步骤B1中MFCC特征向量进行声纹特征的提取。

3.如权利要求2所述的基于端到端深度神经网络的语音和人脸复合身份认证方法，其特征在于，所述步骤B1对步骤A中文本相关语音信号进行预处理，得到MFCC特征向量，具体包括以下分步骤：

B11、对步骤A中文本相关语音信号进行预加重、分帧、加窗处理；

B12、对步骤B11处理后的每一帧文本相关语音信号进行快速傅里叶变换，计算频谱，得到幅度谱；

B13、对步骤B12中幅度谱进行Mel滤波处理；

B14、对步骤B13处理后的幅度谱作对数运算，再进行离散余弦变换得到MFCC特征向量；

B15、对步骤B14中MFCC特征向量进行去均值和方差并归一化处理。

4.如权利要求3所述的基于端到端深度神经网络的语音和人脸复合身份认证方法，其特征在于，所述步骤C提取步骤A中面部视频信号的多帧人脸特征，具体包括以下分步骤：

C1、根据预设时间间隔从面部视频信号中采集图像帧，并进行人脸检测，当包含人脸的图像帧达到预设数量时完成采集；

C2、将步骤C1中包含人脸的图像帧进行人脸对齐并归一化处理；

C3、对步骤C2处理后的图像帧采用深度残差网络ResNet进行特征点检测和特征学习，得到对应的人脸特征；

C4、将步骤C3中人脸特征进行融合得到人脸特征向量。

5.如权利要求1-4任一所述的基于端到端深度神经网络的语音和人脸复合身份认证方法，其特征在于，所述步骤F根据步骤E中降维处理后的身份特征向量采用TripLets Loss方法进行身份识别，具体包括以下分步骤：

F1、采集包含人脸数据集和声纹数据集的训练数据集，并采用所述步骤B至步骤E的方法进行处理得到身份特征向量样本集；

F2、根据步骤F1中身份特征向量样本集生成triplet三元组集合；

F3、分别将triplet三元组集合中的每个元素训练共享参数网络，得到三个元素的特征表达；

F4、根据步骤F3中三个元素的特征表达构造优化Triplet loss目标函数，完成身份识别。

6.如权利要求5所述的基于端到端深度神经网络的语音和人脸复合身份认证方法，其特征在于，所述优化Triplet loss目标函数具体为：

其中，为三个元素的特征表达，N为样本集中样本的总数量，为第i个三元组中的锚记样本，为此三元组中与属于同类样本的样本，为此三元组中与不属于同类样本的样本，a为锚记样本的标记，p为锚记样本同类样本的标记，n为与锚记样本不同类样本的标记，α为与距离和与距离的最小间隔，为二范数的平方。