[发明专利]基于深度图像的唇语交互方法以及唇语交互装置

说明书

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于深度图像的唇语交互方法以及交互装置。

背景技术

在人工智能领域已经图像处理领域，利用目标的图像信息可以实现很多功能比如用来分析用户的表情或动作信息等等。图像获取和识别一直是较为热门的研究话题，涉及到用户日常生活以及科学研究的多个方面。

例如，可通过对用户面部进行识别如唇语进行识别的技术能提高体感交互、语音识别的准确率，从而进一步地带来更加舒适的交互体验。

但是现有技术中，唇语识别一般是基于彩色相机来获取用户的面部信息，这种方式容易受到环境的影响，如光线太强或太弱都会直接影响到图像获取的精度，导致识率很低，最终导致交互的成功率并不高。

发明内容

本发明主要解决的技术问题是提供一种基于深度图像的唇语交互方法以及唇语交互装置，能够有效提高通过唇语识别来进行交互的成功率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度图像的唇语交互方法，所述交互方法包括：

获取目标人体对象的深度图像信息；

从所述深度图像信息中获取所述目标人体对象的唇部区域图像；

从所述嘴唇区域图像提取唇部特征，根据所述唇部特征进行唇语识别；

将所述唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。

其中，所述从所述深度图像信息中获取所述目标人体对象的嘴唇区域图像的步骤具体包括：

对所述深度图像信息进行分割得到所述目标人体对象的人脸图像；

从所述人脸图像中获取所述目标人体对象的嘴唇区域图像。

其中，所述对所述图像信息进行分割得到所述目标人体对象的人脸图像的步骤具体包括：

根据深度特征信息判断所述图像信息中是否包括所述目标人体对象的鼻尖；

在所述深度图像信息中包括所述目标人体对象的鼻尖时，检测所述鼻尖两侧是否存在椭圆的人脸轮廓区域；

如果存在所述人脸轮廓区域，获取包括所述鼻尖以及人脸轮廓的区域图像作为所述目标人体对象的人脸图像；

所述从所述人脸图像中获取所述目标人体对象的嘴唇区域图像的步骤包括：

提取所述人脸图像中的所述鼻尖下方的区域作为嘴唇区域图像。

所述提取所述人脸图像中的所述鼻尖下方的区域作为嘴唇区域图像的步骤之后还包括：

通过边缘检测或阈值分割的图像处理方法从所述嘴唇区域图像中获取所述目标人体对象的双唇图像。

其中，所述从所述嘴唇区域图像中提取唇部特征，并对所述唇部特征进行唇语识别的步骤具体包括：

通过外观轮廓提取方法或轮廓特征提取方法中的至少一种从所述嘴唇区域图像中提取唇部特征；

将所述唇部特征与设定识别模型数据库中的识别信息进行比对，得到所述唇部特征对应的唇语识别结果。

其中，所述获取目标人体对象的深度图像信息的步骤具体包括：

通过预先设置的双摄像机同步采集所述目标人体对象的第一图像以及所述目标人体对象的第二图像；

根据所述第一图像和所述第二图像计算得到所述目标人体对象的深度图像信息。

其中，所述获取目标人体对象的深度图像信息的步骤具体包括：

通过红外相机获取所述目标人体对象的结构光红外图像，从所述结构光红外图像中获取所述目标人体对象的深度图像信息。

其中，所述获取目标人体对象的深度图像信息的步骤具体包括：

向所述目标人体图像所在的目标区域投射红外光；

通过红外相机采集所述红外光反射的光线，根据所述光线的传输时间计算得到所述目标人体图像的深度图像信息。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于深度图像的唇语交互装置，

所述唇语交互装置包括：深度图像信息获取模块、唇部区域图像确定模块、唇语识别模块以及交互模块，

所述深度图像信息获取模块用于获取目标人体对象的深度图像信息；

所述唇部区域图像确定模块用于从所述深度图像信息中获取所述目标人体对象的唇部区域图像；

所述唇语识别模块用于从所述嘴唇区域图像提取唇部特征，根据所述唇部特征进行唇语识别；

所述交互模块用于将所述唇语识别的结果转化成对应的操作指令，并根据所述操作指令进行交互。