[发明专利]一种3D结构光人脸识别方法

说明书

本发明公开了一种3D结构光人脸识别方法，属于人脸识别技术领域；本发明方法包括：投射结构光，通过传感器接收信息；信息预处理，获取动作时的信息；语音识别；依嘴部信息、手部信息及音频数据进行特征融合处理，实现人脸唇语识别；本发明通过结构光的人脸识别及语音实现手语、语音、唇语三种模态信息的融合，提供一种具备聋、哑和聋哑三种人士的多元辅助的融合方法；解决了在唇部运动过程中如何产生更好地反映说话人视觉信息的特征的问题，进一步提高了识别的准确率；从不同模态到视位的映射，解决视觉歧义问题；同时多模态的融合也解决了单模态无法识别时，无法输出结果的问题，最大程度保证了方法在实际应用中的可行性。

技术领域

本发明属于人脸识别技术领域，特别涉及一种3D结构光人脸识别方法。

背景技术

3D结构光人脸识别是在红外的基础上，增加一个红外点阵发射器，输出的图包括一张红外IR图和一张深度图，不管是深度图还是IR图都是利用红外光的光源，因此可以在在黑暗环境中使用，并且不易被自然光环境干扰。3D结构光的人脸识别的活体检测这块，是通过引入深度图，是使用IR和深度两个人脸图像进行3D的活体检测。而且可以在红外人脸识别防范的攻击算法基础上，加入的深度图携芾深度信息，能够有效防范平面攻击，比如说照片、视频、纸张面具弯曲等材质的攻击，还可以结合红外IR图对表面材质的检测，能防范大部分的普通材质的面具、模型等攻击。

现有结构光人脸识别已经应用于多个领域例如唇语识别、人脸建模等；其中唇语识别的应用较为空白，这是因为现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面，对提高唇部视觉特征的有效性关注不多。现有技术将结构光应用于唇语识别的如现有技术1“CN201510837127.3一种基于可穿戴设备的唇语识别方法及系统”其采用结构光建立人脸三维模型，通过三维模型提取唇部特征进而通过特征进行训练获得唇语信息，但其缺点也较为明显，唇部视觉特征的准确有效的识别是现有技术较难以实现，单纯通过三维的嘴部特征实现唇语识别还是有难度的，其原因在于每个人的口音、强调不同发声时调动唇部的肌肉并不相同，因此此方法建立的唇语系统及方法的精度较低；又如现有技术2“CN201611076396.3基于唇语的交互方法以及交互装置”相较于现有技术1而言，现有技术2采用深度、红外、彩色三种模态的图像进行融合，通过多模态融合提高识别精度，但其问题依然在于唇部视觉特征的准确有效的识别是现有技术较难以实现；

同时唇语识别多用于聋哑人辅助，而聋哑人分为聋、哑和聋哑三种，上述的现有技术仅针对单纯的视觉特征进行识别精度较低，所采用的的手段也仅仅是从视觉的角度出发，难以满足所有聋哑人的需求；因此必须通过其他模态信息建立完整的唇语识别方法，提高唇语识别的精度。

发明内容

(一)要解决的技术问题

提供一种多模态融合的方法提高唇语识别的精度，解决现有技术中单一视觉特征识别精度低的问题。

(二)技术方案

本发明通过如下技术方案实现：一种3D结构光人脸识别方法；

步骤100：向目标用户上半部分肢体投射结构光，通过传感器接收上半部分肢体信息及音频信息；

步骤200：上半部分肢体信息预处理，获取动作时的嘴部信息、手部信息；

步骤300：音频数据预处理，基于音频数据进行语音识别；

步骤400：依据动作时的获取动作时的嘴部信息、手部信息及音频数据进行特征融合处理，实现人脸唇语识别。

作为上述方案的进一步说明，所述步骤100的投射结构光采用的是正向投射方式；

所述步骤100的上半部分肢体信息包括彩色图像数据及深度数据。

作为上述方案的进一步说明，所述步骤200上半部分肢体信息预处理包括如下流程：