[发明专利]唇语识别方法、装置及电子设备

说明书

本申请公开了一种唇语识别方法、装置及电子设备，属于移动通信领域。所述方法应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述方法包括：在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；根据所述唇部正向图像，进行唇语识别。本申请实施例解决了电子设备在进行唇语识别过程中，需要被识别对象正向面对摄像头模块，无法满足一些复杂场景下的唇语识别需求的问题。

技术领域

本申请属于移动通信领域，具体涉及一种唇语识别方法、装置及电子设备。

背景技术

唇语识别是一项集机器视觉与自然语言处理于一体的技术，通过对唇部形态进行识别，来判断说话者说的内容。具体地，唇语识别系统使用机器视觉技术，从连续图像中识别出人脸，判断其中正在说话的人，提取此人连续的口型变化特征；将连续变化的特征输入到唇语识别模型中，识别出讲话人口型对应的发音；随后根据识别出的发音，计算出可能性最大的自然语言语句。然而，在唇语识别过程中，口型与发音，发音与文字之间，并不是唯一对应的关系，常常有多个可能的备选结果，需要实时计算出可能性最大的结果。

在噪音过大或是一些有聋哑人的环境中，无法听到或得到语言信息，可通过唇语识别来获得想要传递的信息。唇语识别技术在一定程度上可以准确识别出说话者所说的内容。且在一些特殊应用场景中，唇语识别已成为获取信息的重要途径。现有技术中，通常通过电子设备的摄像头模块采集说话者面部进行唇语识别，然而，摄像头模块采集图像的采集方式具有一定的限制性，需要被识别对象正向面对摄像头模块，才能够确保图像的准确识别，无法满足一些复杂场景下的唇语识别需求。

发明内容

本申请实施例的目的是提供一种唇语识别方法、装置及电子设备，能够解决现有技术中，电子设备在进行唇语识别过程中，需要被识别对象正向面对摄像头模块，无法满足一些复杂场景下的唇语识别需求的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种唇语识别方法，应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述方法包括：

在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；

根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；

根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；

根据所述唇部正向图像，进行唇语识别。

第二方面，本申请实施例还提供了一种唇语识别装置，应用于电子设备，所述电子设备包括飞行时间TOF摄像头模组，所述装置包括：

特征点识别模块，用于在检测到被识别对象的唇部的情况下，识别所述唇部的至少两个唇部特征点，并控制所述TOF摄像头模组向所述被识别对象发送预设光线；

距离确定模块，用于根据所述预设光线，确定所述唇部特征点距离所述TOF摄像头模组的第一距离；

图像确定模块，用于根据所述唇部特征点以及所述第一距离，确定所述被识别对象的唇部正向图像；

唇语识别模块，用于根据所述唇部正向图像，进行唇语识别。

第三方面，本申请实施例还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序或指令，所述处理器执行所述程序或指令时实现如上所述的唇语识别方法中的步骤。