[发明专利]一种3D结构光人脸识别方法

权利要求书

1.一种3D结构光人脸识别方法；其特征在于：

步骤100：向目标用户上半部分肢体投射结构光，通过传感器接收上半部分肢体信息及音频信息，其中，所述步骤100的投射结构光采用的是正向投射方式，所述步骤100的上半部分肢体信息包括彩色图像数据及深度数据；

步骤200：上半部分肢体信息预处理，获取动作时的嘴部信息、手部信息，所述步骤200上半部分肢体信息预处理包括如下流程：

步骤210：利用深度数据构建人脸轮廓模型，所述步骤210具体的包括如下步骤：

步骤211：彩色图像数据及深度数据进行配准，其中采用投影变换公式进行配准，所述投影变换公式如下：(x，y，z)^T＝R*(X，Y，Z)^T+T；式中，R为旋转矩阵，T为平移矩阵，(x，y，z)^T为RGB摄像头拍摄的彩色图像数据坐标系对应点的坐标，(X，Y，Z)^T为深度数据对应点的坐标；

步骤212：对深度数据进行降噪滤波，具体采用多帧中值滤波算法进行滤波降噪，该方法利用直方图获得图像中亮度、对比度、最大亮度、最小亮度及亮度中值，基于此快速平滑移除由KINECT传感器产生的噪声曲面，并且对称填充；

步骤213：面部检测及脸部特征点提取，具体的通过Kinect骨骼追踪技术建立人体骨骼的空间坐标，区分头部及上半肢体躯干的每个空间坐标，通过这一方法实现脸部与上半肢体躯干的区分；区分完成后Kinect实现面部的追踪；追踪完成后对面部的数据进行进一步的提取；

步骤214：人脸轮廓模型数据归一化；

步骤220：三维人脸分割算法提取嘴部特征；

步骤230：基于嘴部特征获取唇语信息；

步骤300：音频数据预处理，基于音频数据进行语音识别；

步骤400：依据动作时的获取动作时的嘴部信息、手部信息及音频数据进行特征融合处理，实现人脸唇语识别；

所述步骤200上半部分肢体信息预处理还包括如下流程：

步骤240：构建人体上半身骨骼关键点图；

步骤250：基于彩色图像数据、深度数据及上半身骨骼关键点图进行帧间配对；

步骤260：区域分割提取手臂、手部的动作信息；

步骤270：基于手臂、手部的动作信息获取手语信息;

所述步骤260具体包括如下步骤：

步骤261：根据上半身骨骼关键点提取右手腕、右手、左手腕、左手的轨迹二维坐标；

步骤262：将二维坐标转化为三维点云信息，并归一化，提取手臂、手部的轨迹特征形成轨迹图；

步骤263：基于手势分割算法提取手势关键帧；

步骤264：轨迹与手势关键帧进行融合学习。

2.如权利要求1所述的一种3D结构光人脸识别方法，其特征在于：

所述步骤220具体的包括如下步骤：

步骤221：彩色图像数据及深度数据进行配准、映射；

步骤222：基于脸部特征点构建嘴部轮廓线；

步骤223：基于轮廓线对嘴部特征进行分割，并将分割结果映射至人脸轮廓模型实现人脸轮廓模型嘴部特征的切割。

3.如权利要求1所述的一种3D结构光人脸识别方法，其特征在于：

所述步骤400具体的包括如下步骤：

步骤410：输入嘴部信息、手部信息及音频数据输出的特征；

步骤420：特征融合；

步骤430：输出结果。

4.如权利要求3所述的一种3D结构光人脸识别方法，其特征在于：所述步骤430输出结果指的是基于识别到当前人脸的目标用户所要表达语言。