[发明专利]一种MOOC课程中学生面部表情的动态识别方法

摘要

一种MOOC课程中学生面部表情的动态识别方法，属于图像处理领域，该方法对MOOC课程中拍摄的视频进行分帧，对分帧得到的图像提取特征点，并抽取关键部位特征点组成特征向量后，训练表情模式分类器，利用表情模式分类器对MOOC课程中拍摄的实时视频中学生面部表情进行表情模式的分类；本发明针对MOOC课堂中学生面部表情特点对六种基本表情重新定义，使识别结果对学生课堂状态分析更有效；通过对动作模式的组合得到表情模式，使表情模式的识别更准确；使用欧式距离构建的动作模式特征向量，特征向量具有维度低、数量少的特点，使表情识别速度更快。

主权项

1.一种MOOC课程中学生面部表情的动态识别方法，其特征在于：所述方法包括：步骤1：对MOOC课程上学生学习过程中的面部表情进行拍摄，得到学生面部表情视频；步骤2：获取MOOC课程中学生面部表情历史视频；步骤3：对MOOC课程中学生面部表情历史视频进行分帧处理，使其转换为具有学生面部特征的n帧历史静态图像；步骤4：使用face++人脸识别系统依次提取每帧历史静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤5：对每帧静态图像中学生面部特征的特征点进行预处理；将特征点的像素坐标转换为齐次坐标，对齐次坐标依次进行旋转、平移和缩放变换处理后，再转换回像素坐标，具体方法如下：步骤5.1：将2维的像素坐标转化为3维的齐次坐标，转化公式为：其中，C'_i'k'为第i'个历史图像中第k'个特征点的像素坐标；M'_i'k'为第i'个历史图像中第k'个特征点的齐次坐标；k'∈[1，83]；步骤5.2：以左眼角和右眼角为水平基准，将齐次坐标进行旋转θ'角，令第i'个历史静态图像中左眼右角点为第一个特征点，即k'＝1，其齐次坐标为M'_i'1(x'_i'1,y'_i'1,1)，右眼左角点为第二个特征点，即k'＝2，其齐次坐标为M'_i'2(x'_i'2,y'_i'2,1)，定义旋转矩阵N'₁为：其中，对旋转后的坐标进行平移，定义平移矩阵N'2为：其中，p'₁＝(x'_i'2‑x'_i'1)+x'_i'2，q'₁＝(y'_i'2‑y'_i'1)+y'_i'2；对平移后的坐标进行缩放，令L'为鼻梁左右距离，定义缩放矩阵N'₃为：步骤5.3：将齐次坐标M'_i'k'进行变换，得到转换后的齐次坐标M^′*_i′k′，变换公式为：M^′*_i′k′＝M′_i′k′×N′₁×N′₂×N′₃    (5)步骤5.4：将变换后的齐次坐标M^′*_i′k′，通过式(1)的逆过程，转换为变换后的特征点的像素坐标C^′*_i′k′；步骤6：从预处理后的每帧静态图像的学生面部特征的特征点中，抽取面部关键部位：眼睛、嘴巴、眉毛的特征点；步骤7：分别根据每帧图像中眼睛、嘴巴和眉毛的特征点，建立每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤8：预先定义眼睛的动作模式、嘴巴的动作模式和眉毛的动作模式；步骤9：根据动作模式的定义，分别对每帧静态图像中眼睛特征向量所属的动作模式、嘴巴特征向量所属的动作模式和眉毛特征向量所属的动作模式进行标定；步骤10：将每帧图像的眼睛特征向量、嘴巴特征向量和眉毛特征向量分别保存到各自所标的动作模式的特征向量集合中；步骤11：使用SVM对各动作模式的特征向量集合进行训练，得到各动作模式分类器；步骤12：获取MOOC课程中学生面部表情实时视频；步骤13：对学生面部表情实时视频进行分帧处理，使其转换为m帧具有学生面部特征的实时静态图像；步骤14：使用face++api依次提取每帧实时静态图像中学生面部特征的特征点，并将所提取的学生面部特征的特征点分别以像素坐标向量的形式保存；步骤15：对每帧实时静态图像中学生面部特征的特征点进行预处理；将特征点的像素坐标转换为齐次坐标，对齐次坐标依次进行旋转、平移和缩放变换处理后，再转换回像素坐标，具体方法如下：步骤15.1：将2维的像素坐标转化为3维的齐次坐标，转化公式为：其中，C_ik为第i个实时图像中第k个特征点的像素坐标；M_ik为第i个实时图像中第k个特征点的齐次坐标；k∈[1，83]；步骤15.2：以左眼角和右眼角为水平基准，将得到的齐次坐标进行旋转θ角，令第i个实时图像中左眼右角点为第一个特征点，即k＝1，其齐次坐标为M_i1(x_i1,y_i1,1)，右眼左角点为第二个特征点，即k＝2，其齐次坐标为M_i2(x_i2,y_i2,1)，定义旋转矩阵N1为：其中，对旋转后的坐标进行平移，平移后坐标原点及坐标轴所示，定义平移矩阵N2为：其中，p1＝(xi2‑xi1)+xi2，q1＝(yi2‑yi1)+yi2；对平移后的坐标进行缩放，令L为鼻梁左右距离，定义缩放矩阵N3为：步骤15.3：将齐次坐标M_ik进行变换，得到转换后的齐次坐标变换公式为：步骤15.4：将变换后的齐次坐标M^*_ik通过式(6)的逆过程，转换为变换后的特征点的像素坐标步骤16：从每帧预处理后的实时图像中抽取眼睛、嘴巴、眉毛的特征点，并分别建立眼睛特征向量、嘴巴特征向量和眉毛特征向量；步骤17：使用动作模式分类器分别对每帧实时图像的嘴巴、眼睛和眉毛特征向量进行分类，得到每帧实时图像中嘴巴、眼睛和眉毛对应的动作模式；步骤18：根据每帧实时图像中嘴巴、眼睛和眉毛的动作模式的组合，确定在每帧实时图像中学生的表情所属的表情模式；所述表情模式采用表1中映射关系确定：表1动作模式与表情模式的映射关系表所述步骤7和步骤16中所述的眼睛特征向量、嘴巴特征向量和眉毛特征向量的建立方法为：分别计算眼睛特征点中两两点之间的欧氏距离，即眼睛特征点欧氏距离值，嘴巴特征点中两两点之间的欧氏距离，即嘴巴特征点欧氏距离值，眉毛特征点中两两点之间的欧氏距离，即眉毛特征点欧氏距离值；分别使用眼睛特征点欧氏距离值、嘴巴特征点欧氏距离值和眉毛特征点欧氏距离值构成眼睛特征向量、嘴巴特征向量和眉毛特征向量；所述眼睛动作模式分别为瞪眼、正常和闭眼，所述嘴巴动作模式分别为正常、偏向于思考与悲伤的抿嘴、偏向于愤怒的抿嘴和咧嘴，所述眉毛动作模式分别为皱眉、正常和挑眉。