[发明专利]人脸识别方法、设备及计算机可读存储介质

权利要求书

1.一种人脸识别方法，其特征在于，所述方法包括：

获取与用户的待处理执行业务对应的随机信息；

在进行所述待处理业务时，获取待检测视频数据，所述待检测视频数据中包含合法用户的人脸；所述待检测视频数据是在提示所述随机信息后获取的；

从所述待检测视频数据中，提取音频特征和目标部分的视频帧序列；

根据所述音频特征、所述目标部分的视频帧序列和所述随机信息进行识别，得到语音识别结果、目标语言识别结果和音视频匹配结果；

根据所述语音识别结果、所述目标语言识别结果和所述音视频匹配结果的至少一种进行分析，得到人脸识别结果；

当所述人脸识别结果表征通过时，执行所述待处理业务。

2.根据权利要求1所述的方法，其特征在于，所述根据所述音频特征、所述目标部分的视频帧序列和所述随机信息进行识别，得到语音识别结果、目标语言识别结果和音视频匹配结果，包括：

根据所述音频特征和所述随机信息进行语音识别，得到所述语音识别结果；

根据所述目标部分的视频帧序列和所述随机信息进行图像识别，得到所述目标语言识别结果；

对所述音频特征和所述目标部分的视频帧序列进行匹配识别，得到所述音视频匹配结果。

3.根据权利要求1所述的方法，其特征在于，所述从所述待检测视频数据中，提取音频特征和目标部分的视频帧序列，包括：

对所述待检测视频数据进行音视频分离，得到音频序列和视频帧序列；

对所述音频序列进行音频特征提取，得到所述音频特征；

对所述视频帧序列中的每个视频帧进行图像识别，提取所述目标部分的视频帧序列。

4.根据权利要求3所述的方法，其特征在于，所述目标部分包括唇部；所述对所述视频帧序列中的每个视频帧进行图像识别，提取所述目标部分的视频帧序列，包括：

从视频帧序列的第一个视频帧中进行人脸识别，得到第一个视频帧的人脸方向；

根据预设的旋转角度和所述第一个视频帧的人脸方向，对所述每个视频帧进行旋转，得到旋转后的每个正向视频帧；

对所述每个正向视频帧进行人脸关键点检测，得到每个视频帧对应的人脸关键点；

基于所述每个视频帧对应的人脸关键点，识别出每个视频帧对应的唇部区域，从而得到所述唇部的视频帧序列。

5.根据权利要求4所述的方法，其特征在于，所述基于所述每个视频帧对应的人脸关键点，识别出每个视频帧对应的唇部区域，从而得到所述唇部的视频帧序列，包括：

对所述每个视频帧对应的人脸关键点进行校准，得到校准后的每个视频帧对应的人脸关键点，从而得到校准后的视频帧序列；所述校准后的视频帧序列中每个视频帧的人脸关键点的坐标是一致的；

基于所述校准后的视频帧序列，识别出所述每个视频帧对应的唇部区域，从而得到所述唇部的视频帧序列。

6.根据权利要求5所述的方法，其特征在于，所述对所述每个视频帧对应的人脸关键点进行校准，得到校准后的每个视频帧对应的人脸关键点，从而得到校准后的视频帧序列，包括：

获取所述每个正向视频帧对应的人脸关键点的第一坐标，以及所述校准后的每个视频帧对应的人脸关键点的第二坐标；

根据所述第一坐标，得到与所述每个正向视频帧对应的人脸关键点对应的原始矩阵；

根据所述第二坐标，得到与所述校准后的每个视频帧对应的人脸关键点对应的目标矩阵；

根据所述原始矩阵和所述目标矩阵，得到变换矩阵；所述变换矩阵表征所述第一坐标和所述第二坐标之间的位置关系；

根据所述变换矩阵，将所述每个正向视频帧对应的人脸关键点从第一坐标调整至对应的第二坐标，得到所述校准后的人脸关键点，从而得到校准后的视频帧序列。

7.根据权利要求3所述的方法，其特征在于，所述目标部分包括手部；所述对所述视频帧序列中的每个视频帧进行图像识别，提取所述目标部分的视频帧序列，包括：

从所述视频帧序列的每个视频帧中进行肢体图像识别，得到每个视频帧的手部区域图像；

将所述每个视频帧的手部区域图像，作为所述目标部分的视频帧序列。