[发明专利]一种面部表情机器人多通道信息情感表达映射方法

权利要求书

1.一种面部表情机器人多通道信息情感表达映射方法，其特征在于，预建表情库及输入语音参考模型、输出语音参考模型、语音输出库；采集待识别的人脸图像并通过与表情库对比识别情感表情，采集语音输入并通过与输入语音参考模型对比识别声音表情，将情感表情与声音表情进行融合，获得复合表情指令，面部表情机器人并根据复合表情指令通过与输出语音参考模型对比，从语音输出库中选择相应的语音流数据进行输出；复合表情指令对应设置宏动作指令，面部表情机器人根据宏动作指令进行面部表情表达，实现表情机器人多通信信息情感表达。

2.根据权利要求1所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，将表情库中的表情归类成为若干不同类别的表情组，对各个表情组中的表情图像提取特征向量，作为训练样本；以特征向量构成得到表情特征空间，基于表情特征空间对待识别的人脸图像进行识别。

3.根据权利要求2所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，对各个表情组中的表情图像进行Gabor特征提取，使用多个方向多个尺度的Gabor滤波器组成的滤波器组，对各个表情组中的表情图像进行特征向量提取。

4.根据权利要求3所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，对各个表情组的训练样本进行PCA降维，得到表情特征空间，并将训练样本投影到表情特征空间，得到各个表情组的投影系数组集合，计算各个表情组的平均向量。

5.根据权利要求4所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，将待识别的人脸图像投影到表情特征空间，得到当前投影系数，将当前投影系统与各个表情组的平均向量进行对比，得到与表情组数量对应的多个差值向量，当前待识别的人脸图像识别为差值向量最小对应的表情组的类别，识别出情感表情。

6.根据权利要求2所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，进行对各个表情组中的表情图像提取特征向量前，对表情图像进行预处理，分别为灰度归一化、尺寸归一化和直方图均衡化。

7.根据权利要求2所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，进行对各个表情组中的表情图像提取特征向量前，确定表情图像中人脸的位置，并裁剪获得只包含表情区域的图像。

8.根据权利要求1所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，将语音输入与输入语音参考模型进行DTW分析，根据语音输入和语调强度，做出不同语气强度量化指标，识别出声音表情。

9.根据权利要求1所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，将情感表情与声音表情进行线性融合，获得的复合表情指令的数量为声音表情的数量与情感表情数量的加权求和。

10.根据权利要求1所述的面部表情机器人多通道信息情感表达映射方法，其特征在于，将识别出的情感表情与宏动作指令建立映射关系，宏动作指令通过机械参数反映情感表情，将宏动作指令对应的情感表情预先在面部表情机器人上做离线测试，记录面部机构相应的机械参数。