[发明专利]基于面部表情识别模式的智能轮椅人机交互系统及方法

权利要求书

1.一种基于面部表情识别模式的智能轮椅人机交互系统，其特征在于：包括表情图像采集模块、表情图像特征提取模块、表情特征训练模块、表情序列识别模块、智能轮椅控制模块；其中

表情图像采集模块：用于采集待采集对象的表情图像，并转发给表情特征训练模块；

表情特征训练模块：用于将采集的表情图像和预先设选定的表情库表情图像共同作为面部表情训练集，并经过预处理后转发给表情图像特征提取模块；并将表情图像特征提取模块提取到的表情特征通过迭代训练得到表情分类模型；

表情图像特征提取模块：用于对表情特征训练模块的面部表情训练集进行定位、特征提取得到表情特征，采用几何模型匹配算法自动定位有效表情区域，进而采用ASM方法定位到有效表情控制点信息；具体包括：对预处理后的RGB灰度图像自动定位眉毛、眼睛、嘴巴区域；然后采用ASM主动形状模型方法定位到所述眉毛、眼睛、嘴巴区域中的表情特征点位置，得到表情特征点序列；当定位眼睛区域时，步骤202中的几何模板匹配算法的评价函数为下式：

E_eye＝exp[-1.2×((l₁-l₂)²+(l₁+l₂-1)²+(θ₁-θ)²+(θ₂-θ)²)]

其中θ_i,i＝1,2分别代表两只眼睛的方位角，l_i,i＝1,2为双眼的归一化长度，由最初的长度除以两个块之间的距离D，如下式：

其中点(x₁,y₁)和(x₂,y₂)分别为右眼和左眼的中心坐标，即D为双眼中心之间的距离；

表情序列识别模块：用于对新输入的每帧表情序列进行与表情特征训练模块相同的图像与处理、特征提取操作后，调用表情分类模型实现表情的识别；

智能轮椅控制模块：用于根据表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。

2.一种基于面部表情识别模式的智能轮椅人机交互方法，其特征在于：包括以下步骤：

201、采用摄像头获取人脸面部的RGB彩色图像，并对图像进行去噪、尺度归一化的预处理后转为RGB灰度图像；

202、采用几何模板匹配算法对预处理后的RGB灰度图像自动定位眉毛、眼睛、嘴巴区域；然后采用ASM主动形状模型方法定位到所述眉毛、眼睛、嘴巴区域中的表情特征点位置，得到表情特征点序列；当定位眼睛区域时，步骤202中的几何模板匹配算法的评价函数为下式：

E_eye＝exp[-1.2×((l₁-l₂)²+(l₁+l₂-1)²+(θ₁-θ)²+(θ₂-θ)²)]

其中θ_i,i＝1,2分别代表两只眼睛的方位角，l_i,i＝1,2为双眼的归一化长度，由最初的长度除以两个块之间的距离D，如下式：

其中点(x₁,y₁)和(x₂,y₂)分别为右眼和左眼的中心坐标，即D为双眼中心之间的距离；

203、然后对预先设选定的表情库表情图像里的每幅图像做与步骤202相同的特征定位提取操作，提取得到的表情特征通过Adaboost自适应增强算法的迭代训练得到表情分类模型；

204、将步骤202中得到的表情特征点序列与表情分类模型相比较并识别，确定表情的类型、得到相应的控制指令，实现对智能轮椅的实时控制。

3.根据权利要求2所述的基于面部表情识别模式的智能轮椅人机交互方法，其特征在于：步骤202中的ASM主动形状模型搜索步骤如下：

(1)ASM表示为：初始化模型参数b，取b＝0，获得初始模型向量b是模型参数，φ是目标模型的特征子空间基，是由主分量特征向量构成的变换矩阵，X表示目标形状，表示平均形状；

(2)沿当前模型X的每个边界点周围搜索，寻找各边界点的最佳匹配点；

(3)更新模型参数b，产生由匹配点结合构成的模型，并将其设为新的当前模型X；

(4)重复步骤(2)和(3)直到模型不再发生明显变化。