[发明专利]一种智能终端的交互方法、智能终端及存储介质

权利要求书

1.一种智能终端的交互方法，其特征在于，包括：

对获取到的用户图像进行分析得到其中包含的唇形特征；

对所述唇形特征进行识别得到与所述唇形特征匹配的指令信息；

根据所述指令信息的指令内容执行相应的操作。

2.根据权利要求1所述的智能终端的交互方法，其特征在于，所述唇形特征为随时间分布的唇形特征序列。

3.根据权利要求1所述的交互方法，其特征在于，所述交互方法还包括：

获取所述用户的语音数据，并记录对应的人脸图像；

对所述语音数据进行分析得到其中包含的指令信息，并从所述人脸图像中分析得到与所述指令信息对应的唇形特征；

建立所述指令信息与所述唇形特征之间的关联关系，并生成用于构建第一深度学习神经网络的第一深度学习数据库；

其中所述第一深度学习神经网络用于对所述唇形特征进行识别得到与所述唇形特征匹配的指令信息。

4.根据权利要求1所述的交互方法，其特征在于，所述对所述唇形特征进行识别得到与所述唇形特征匹配的指令信息，还包括：

对所述唇形特征进行识别得到与所述唇形特征匹配的情绪信息；

根据所述指令信息和所述情绪信息与所述用户进行智能交互。

5.根据权利要求4所述的交互方法，其特征在于，所述交互方法还包括：

获取所述用户的语音数据，并记录对应的人脸图像；

对所述语音数据进行分析得到相应的情绪信息以及其中包含的指令信息，并从所述人脸图像中分析得到与所述情绪信息和所述指令信息对应的唇形特征；

建立所述情绪信息、所述指令信息和所述唇形特征之间的关联关系，并生成用于构建第二深度学习神经网络的第二深度学习数据库；

其中，所述第二深度学习神经网络用于对所述语音数据进行分析得到相应的情绪信息以及其中包含的指令信息，并从所述人脸图像中分析得到与所述情绪信息和所述指令信息对应的唇形特征。

6.根据权利要求1所述的交互方法，其特征在于，在所述对获取到的用户图像进行分析得到其中包含的唇形特征之前，还包括：

根据所述获取到的用户图像对用户进行身份识别，判断所述用户是否为已注册用户；

若是，则执行所述对获取到的用户图像进行分析得到其中包含的唇形特征的步骤；

否则提示所述用户进行注册。

7.根据权利要求6所述的交互方法，其特征在于，所述根据所述获取到的用户图像对用户进行身份识别，判断所述用户是否为已注册用户，包括：

从所述用户图像中提取对应的二维图像信息或二维特征信息，判断是否能够从预先存储的用户二维图像信息或用户二维特征信息中查找到与其匹配的二维图像信息或二维特征信息；

若是，从所述用户图像中提取对应的图像深度信息或深度特征信息，并获取所述与其匹配的二维图像信息或二维特征信息对应的用户深度信息或用户深度特征信息，判断所述图像深度信息或深度特征信息与用户深度信息或用户深度特征信息是否匹配；若是，则确定所述用户为已注册用户；

否则，确定所述用户为未注册用户。

8.根据权利要求1所述的交互方法，其特征在于，所述交互方法还包括：

确定获取到的用户图像中包含有多个用户，对所述多个用户分别进行身份识别，根据识别结果确定所述多个用户之间的优先级关系；

对获取到的用户图像进行分析得到所述多个用户各自对应的多个唇形特征；

对所述多个唇形特征分别进行识别得到与所述多个唇形特征各自匹配的多个指令信息；

根据所述多个指令信息各自对应的指令内容，按照所述优先级关系依次执行相应的操作。