[发明专利]用户认证、唇语识别的方法、装置和电子设备

权利要求书

1.一种用户认证方法，其特征在于，包括：

获得包括用户唇语的视频段；

对所述视频段分别进行人脸识别和唇语识别；

基于人脸识别结果和唇语识别结果对用户进行认证。

2.根据权利要求1所述的方法，其特征在于，按照以下至少一种方式获得包括用户唇语的视频段：

提供待读取的信息，采集用户读取所述信息时的视频段；

提供需要用户回答的问题，采集用户回答所述问题时的视频段；

提供需要用户执行的语音动作信息，采集用户执行所述语音动作信息所指示的语音动作时的视频段。

3.根据权利要求2所述的方法，其特征在于，所述提供待读取的信息，采集用户读取所述信息时的视频段，包括：

依次提供多个待读取的信息，采集用户读取每个信息时的视频段。

4.根据权利要求1所述的方法，其特征在于，所述视频段包括多个视频帧，所述对所述视频段进行唇语识别，包括：

提取视频帧中嘴唇的特征点信息；

对所述特征点信息进行特征编码；

对特征编码后的信息进行分析，得到唇语识别信息。

5.根据权利要求4所述的方法，其特征在于，所述提取所述视频帧中嘴唇的特征点信息，包括：利用卷积神经网络模型提取所述视频帧中嘴唇的特征点信息。

6.根据权利要求4所述的方法，其特征在于，所述对所述特征点信息进行特征编码，包括：利用时间递归神经网络模型对所述特征点信息进行特征编码。

7.根据权利要求4所述的方法，其特征在于，所述对特征编码后的信息进行分析，得到唇语识别信息，包括：利用用于多分类过程的回归模型对特征编码后的信息进行分析，得到唇语识别信息。

8.根据权利要求4-7任意一项所述的方法，其特征在于，所述提取所述视频帧中嘴唇的特征点信息，包括：提取多个视频帧中嘴唇的特征点信息；

所述对所述特征点信息进行特征编码，包括：对多个特征点信息进行特征编码，得到多个特征编码后的信息，将所述多个特征编码后的信息进行融合，得到融合的特征编码信息；

所述对特征编码后的信息进行分析，得到唇语识别信息，包括：对融合的特征编码信息进行分析，得到唇语识别信息。

9.根据权利要求2所述的方法，其特征在于，所述对所述视频段进行唇语识别，包括：

对所述用户读取所述信息时的视频段进行唇语分析，得到用户读出的信息，如果所述用户读出的信息与所述提供的待读取的信息一致，则确定唇语识别通过，否则，确定唇语识别不通过；或者

对所述用户回答所述问题时的视频段进行唇语分析，得到用户的回答信息，如果所述用户的回答信息为所述问题的答案，则确定唇语识别通过，否则，确定唇语识别不通过；或者

对所述用户执行所述语音动作信息所指示的语音动作时的视频段进行唇语分析，得到用户执行的语音动作的结果，如果所述用户执行的语音动作的结果与所述提供的需要用户执行的语音动作信息一致，则确定唇语识别通过，否则，确定唇语识别不通过。

10.根据权利要求1或9所述的方法，其特征在于，所述基于人脸识别结果和唇语识别结果对用户进行认证，包括：

如果人脸识别通过并且唇语识别通过，则确定通过对用户的认证，否则，确定对用户的认证不通过。

11.一种唇语识别的方法，其特征在于，包括：

获得包括用户唇语的视频段中的视频帧；

提取视频帧中嘴唇的特征点信息；

对所述特征点信息进行特征编码；

对特征编码后的信息进行识别，得到唇语识别信息。

12.根据权利要求11所述的方法，其特征在于，所述提取所述视频帧中嘴唇的特征点信息，包括：利用卷积神经网络模型提取所述视频帧中嘴唇的特征点信息。