[发明专利]一种基于可穿戴设备的唇语识别方法及系统

说明书

本发明公开了一种基于可穿戴设备的唇语识别方法及系统，其中，该方法包括：向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。采用本发明实施例，可快捷、准确的获取到用户唇语的文字信息或语音信息。

技术领域

本发明涉及移动通信技术领域，尤其涉及一种基于可穿戴设备的唇语识别方法及系统。

背景技术

人类的语言认知过程是一个多通道的感知过程。除声音信息通道外，唇动视觉信息可以作为一种语音理解源。作为人机交互的一部分，视觉语言具有许多现在的应用，因此通过机器的自动唇语识别技术成为备受关注的研究领域。

近年来，国内外对于唇语识别都有相应的研究，并且在一些关键技术上取得了一些突破，但是尚不能与语音识别进行融合且有效地改善识别率。在现有的技术中，主要是基于二维图像处理以提取嘴唇的二维轮廓信息，但是嘴唇的二维轮廓信息所能够表达的特征信息有限，多数词语发音的二位轮廓信息重叠，导致识别能力有限。

此外，由于无线探测识别技术，包括运动检测、手势识别、定位、材料分类等的提高，通过检测和分析信号的反射，无线探测识别技术可发现穿墙运动和识别人的手势。但是对与用户说话的识别，只是通过声学传感器或者摄像头装置来实现，这种方法的系统布置代价高、局限大，而且会出现延迟。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于可穿戴设备的唇语识别方法及系统，通过可穿戴设备可以随时随地快速准确的识别应的唇语。

为了解决上述技术问题，本发明提供了一种基于可穿戴设备的唇语识别方法，所述方法包括：

向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息；

对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息；

对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，并根据分段结构光信息，提取所述分段结构光信息的三维模型特征；

比较所述分段结构光信息的三维模型特征与样本三维模型特征的相似度，获取相似度最高的三维模型特征所对应的文字信息或语音信息。

优选地，所述向用户面部投射结构光，通过结构光接收器获取面部反射的结构光信息，包括：

旋转结构光投射器向所述用户的面部投射结构光，获取最优投射角度；

根据所述最优投射角度投射结构光，所述结构光接收器接收完整的面部反射的结构光信息。

优选地，所述对所述面部反射的结构信息进行过滤处理，获取所述用户嘴部运动时的嘴部反射的结构光信息，包括：

对所述面部反射的结构信息进行高通滤波和低通滤波过滤处理，除去所述面部反射的结构信息噪声，获取降噪后的面部反射结构光信息；

通过对所述用户脸部进行区域定位，获取所述用户的嘴部位置的降噪后的嘴部反射结构光信息。

优选地，所述对所述嘴部反射的结构光信息进行分段，获取分段结构光信息，包括：

采用小波变换算法，获取，所述对所述嘴部反射的结构光信息的波形变换情况；

根据所述波形变换情况，以波形的变换周期对所述嘴部反射的结构光信息进行分段，获取分段结构光信息。