[发明专利]用户认证、唇语识别的方法、装置和电子设备

说明书

本申请公开了一种用户认证方法，所述方法包括：获得包括用户唇语的视频段；对所述视频段分别进行人脸识别和唇语识别；基于人脸识别结果和唇语识别结果对用户进行认证。采用本申请提供的用户认证方法，能够提高对用户进行认证的安全性。

技术领域

本申请涉及图像处理技术领域，具体涉及一种用户认证方法及装置。本申请同时涉及一种唇语识别的方法及装置。

背景技术

目前，人脸识别技术逐渐趋于成熟，人脸识别技术已应用于考勤、门禁、支付等需要对用户进行认证的场景。随着人脸识别应用的推广，所引发的安全性问题日益突出，例如，不法分子通过使用他人的人脸图像、视频、或者构建其人脸的3D模型等欺骗人脸识别系统，盗取用户的信息。

因此，目前的通过人脸识别技术对用户进行认证的方法存在安全性的问题。

发明内容

本申请提供一种用户认证方法，以提高对用户进行认证的安全性。

本申请提供一种用户认证方法，所述方法包括：

获得包括用户唇语的视频段；

对所述视频段分别进行人脸识别和唇语识别；

基于人脸识别结果和唇语识别结果对用户进行认证。

可选的，按照以下至少一种方式获得包括用户唇语的视频段：

提供待读取的信息，采集用户读取所述信息时的视频段；

提供需要用户回答的问题，采集用户回答所述问题时的视频段；

提供需要用户执行的语音动作信息，采集用户执行所述语音动作信息所指示的语音动作时的视频段。

可选的，所述提供待读取的信息，采集用户读取所述信息时的视频段，包括：

依次提供多个待读取的信息，采集用户读取每个信息时的视频段。

可选的，所述视频段包括多个视频帧，所述对所述视频段进行唇语识别，包括：

提取视频帧中嘴唇的特征点信息；

对所述特征点信息进行特征编码；

对特征编码后的信息进行分析，得到唇语识别信息。

可选的，所述提取所述视频帧中嘴唇的特征点信息，包括：利用卷积神经网络模型提取所述视频帧中嘴唇的特征点信息。

可选的，所述对所述特征点信息进行特征编码，包括：利用时间递归神经网络模型对所述特征点信息进行特征编码。

可选的，所述对特征编码后的信息进行分析，得到唇语识别信息，包括：利用用于多分类过程的回归模型对特征编码后的信息进行分析，得到唇语识别信息。

可选的，所述提取所述视频帧中嘴唇的特征点信息，包括：提取多个视频帧中嘴唇的特征点信息；

所述对所述特征点信息进行特征编码，包括：对多个特征点信息进行特征编码，得到多个特征编码后的信息，将所述多个特征编码后的信息进行融合，得到融合的特征编码信息；

所述对特征编码后的信息进行分析，得到唇语识别信息，包括：对融合的特征编码信息进行分析，得到唇语识别信息。

可选的，所述对所述视频段进行唇语识别，包括：

对所述用户读取所述信息时的视频段进行唇语分析，得到用户读出的信息，如果所述用户读出的信息与所述提供的待读取的信息一致，则确定唇语识别通过，否则，确定唇语识别不通过；或者