[发明专利]一种面部表情机器人多通道信息情感表达映射方法

说明书

技术领域

本发明涉及情感表达机器人领域，更具体地说，涉及一种面部表情机器人多通道信息情感表达映射方法。

背景技术

面部表情机器人对于实现人机自然交互，减少人类与机器人之间的情感距离，具有积极的促进意义。国内外学者对此研究方向展开大量的研究工作：具有代表性的表情机器人有美国麻省理工学院人工智能实验室的Kismet、东京理工大学开发的SAYA机器人、美国汉森机器人技术公司的K-bot和“爱因斯坦”、英国赫特福德大学设计的Nao、日本大阪大学研究的ReplieeQ1、ReplieeQ2和GeminoidTMF、国内哈工大研究的H&F系列机器人等。

与传统的固定工位、固定工序和固定操作场景的工业机器人不同，面部表情机器人对于交互性、智能性和自主性的要求更高，其研究涉及机械设计、自动控制、计算机智能、心理学及认知科学等多领域知识，具有典型的多学科交叉特征。这使得一些研究机构及公司虽然能够设计出一些具有一定情感表达的面部表情机器人，但由于涉及情感表达的技术非常繁多复杂，多数的研究仍处于实验室探索阶段，目前主要存在以下两点不足：

1、表情机器人多通道情感表达欠缺。表情机器人的情感表达涉及交叉学科，如何综合运用多领域知识成为情感表达的一个关键问题。目前文献中大多孤立地应用某一领域知识，如将人脸识别技术与表情机器人结合应用。由于只考虑了人机交互的某一方面，缺乏知识的综合运用，使得机器人不具备多通道情感的表达的能力。

2、缺乏面向表情机器人的通用性情感表达建模方法。人类的脸部不仅运动器官众多，而且器官运动幅度的细微瞬间变化都可能表达不同的情感。因此，在国内的表情机器人研究领域，多数的研究工作仍重点围绕头部的机构设计方面，对于如何将视觉表情分析、语音识别等智能技术应用于表情机器人明显不足，尤其缺乏统一的通用性情感表达建模标准。

发明内容

本发明的目的在于克服现有技术的不足，提供一种利用语音、视觉等多通道信息在人与机器人之间进行人机交互的面部表情机器人多通道信息情感表达映射方法。

本发明的技术方案如下：

一种面部表情机器人多通道信息情感表达映射方法，预建表情库及输入语音参考模型、输出语音参考模型、语音输出库；采集待识别的人脸图像并通过与表情库对比识别情感表情，采集语音输入并通过与输入语音参考模型对比识别声音表情，将情感表情与声音表情进行融合，获得复合表情指令，面部表情机器人并根据复合表情指令通过与输出语音参考模型对比，从语音输出库中选择相应的语音流数据进行输出；复合表情指令对应设置宏动作指令，面部表情机器人根据宏动作指令进行面部表情表达，实现表情机器人多通信信息情感表达。

作为优选，将表情库中的表情归类成为若干不同类别的表情组，对各个表情组中的表情图像提取特征向量，作为训练样本；以特征向量构成得到表情特征空间，基于表情特征空间对待识别的人脸图像进行识别。

作为优选，对各个表情组中的表情图像进行Gabor特征提取，使用多个方向多个尺度的Gabor滤波器组成的滤波器组，对各个表情组中的表情图像进行特征向量提取。

作为优选，对各个表情组的训练样本进行PCA降维，得到表情特征空间，并将训练样本投影到表情特征空间，得到各个表情组的投影系数组集合，计算各个表情组的平均向量。

作为优选，将待识别的人脸图像投影到表情特征空间，得到当前投影系数，将当前投影系统与各个表情组的平均向量进行对比，得到与表情组数量对应的多个差值向量，当前待识别的人脸图像识别为差值向量最小对应的表情组的类别，识别出情感表情。

作为优选，进行对各个表情组中的表情图像提取特征向量前，对表情图像进行预处理，分别为灰度归一化、尺寸归一化和直方图均衡化。

作为优选，进行对各个表情组中的表情图像提取特征向量前，确定表情图像中人脸的位置，并裁剪获得只包含表情区域的图像。

作为优选，将语音输入与输入语音参考模型进行DTW分析，根据语音输入和语调强度，做出不同语气强度量化指标，识别出声音表情。

作为优选，将情感表情与声音表情进行线性融合，获得的复合表情指令的数量为声音表情的数量与情感表情数量的加权求和。

作为优选，将识别出的情感表情与宏动作指令建立映射关系，宏动作指令通过机械参数反映情感表情，将宏动作指令对应的情感表情预先在面部表情机器人上做离线测试，记录面部机构相应的机械参数。

本发明的有益效果如下：