[发明专利]一种基于二维和三维融合的特殊人脸表情识别的方法

摘要

本发明公开了是一种基于二维和三维融合的特殊人脸表情识别的方法，装置主要包括左摄像头、右摄像头、投影仪和棋盘标定板，左摄像头、右摄像头位于装置的左右两边，投影仪位于左摄像头和右摄像头中点处，棋盘标定板在两摄像头前的共同视野处，三维数据的处理时提出了对深度图进行区域划分的方法，提取出有效区域作为输入数据，其作用是能够降低数据计算量，同时也不会对识别率有太大的影响，将二维数据与三维数据的识别结果进行融合，其作用是提高现有的单独使用二维数据时的识别率，同时降低妆容、光线等环境因素对表情识别的影响。

主权项

1.一种基于双目结构光的二维三维融合的特殊人脸表情识别方法，其特征在于，实现方法的装置主要包括左摄像头(1)、右摄像头(2)、投影仪(3)和棋盘标定板(4)，所述的左摄像头(1)、右摄像头(2)位于装置的左右两边，所述的投影仪(3)位于左摄像头(1)和右摄像头(2)中点处，所述的棋盘标定板(4)在两摄像头前的共同视野处，具体步骤如下：1)棋盘标定板(4)改变位置和角度的情况下，左摄像头(1)、右摄像头(2)各自对其拍摄图片共15～25组，并依次存储下来；2)单目标定：利用左摄像头(1)拍摄的图片，和棋盘的实际尺寸进行单目标定，得到左摄像头(1)的焦距和畸变参数，右摄像头(2)同理；3)双目标定：等到步骤2)中左右摄像头(2)各自的标定参数后，利用两两对应的图片，计算出摄像头之间的位置关系、映射函数，接着计算出畸变校正和立体校正的映射变换；4)人脸拍摄：在暗环境下，将结构光投射到被测人脸(5)上，并且左右各拍摄一张人脸图片；5)二维表情识别：利用两张二维图片，首先对其进行直方图均衡化和滤波去噪处理；然后进行人脸归一化处理，包括灰度归一化和几何归一化，其中灰度归一化公式为：x＝x/(max+0.0001)  (1)x为图片中各个像素点的灰度值，max为灰度值最大点的值；6)三维数据计算：利用左右两图以及双目标定参数，先进行立体匹配，计算出携带三维信息的点云数据；7)三维表情识别：首先利用栅格化处理，将无序的点云数据插值后转变为规则的网格数据，具体插值方法为格点样条函数法，然后存为深度信息图；接下来进行特征点的提取，包括鼻尖点、眼角点、嘴角点；接下来利用特征点对深度图进行区域划分，选取出眼睛和嘴巴部分，重组为后续训练网络所需输入数据的大小的灰度图数据；最后将得到的数据用已完成训练的模型进行表情识别；8)完成步骤1‑3后，不断重复步骤4‑7，获取足够的二维和三维数据库，并利用自己搭建的网络训练模型进行学习；9)识别过程：重复步骤4‑7，获取数据后分别投入两个完成训练的模型中进行识别，得到二维和三维识别下各表情的概率分布后，将其进行相加处理后，选取概率值最大作为最终识别结果。