[发明专利]用于执行脸部表情识别和训练的方法和设备

说明书

一种用于执行脸部表情识别和训练的方法和设备。一种脸部表情识别方法包括：获取包括对象的输入图像；基于脸部表情识别模型从输入图像辨识对象的脸部表情强度。

本申请要求于2016年11月21日提交到韩国知识产权局的第10-2016-0155295号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

以下描述涉及与脸部表情识别和训练相关联的技术。

背景技术

最近，为对人机输入模式进行分类，对将人的有效模式识别方法应用到实际计算机的积极研究已经被开展。一个这样的研究领域集中在通过产生的关系对人的生物神经元的特性进行建模的人工神经网络。为对输入模式进行分类，人工神经网络采用接近并模拟人的学习能力的算法的选择。通过这些算法，人工神经网络产生输入模式与输出模式之间的映射。产生这样的映射的能力被称为人工神经网络的学习能力。基于学习结果，人工神经网络针对用于向着真实世界对象的识别的持续改进进行学习的输入模式产生输出。

发明内容

提供本发明内容以用简化的形式介绍对在下面的具体实施方式中进一步描述的构思的选择。本发明内容不是旨在辨识所要求保护主题的关键特征或必要特征，也不是意图被用作帮助确定所要求保护主题的范围。

在一个总体的方面，提供一种脸部表情识别方法，包括：驱使处理器获取包括对象的输入图像；基于脸部表情识别模型从输入图像辨识对象的脸部表情强度。

计算的步骤可包括：基于脸部表情识别模型从输入图像辨识关于多个脸部表情中的每个脸部表情的脸部表情强度。

计算的步骤还可包括：基于脸部表情识别模型从输入图像辨识对象的脸部表情或对象的姿态中的至少一个。

所述方法还可包括从输入图像检测与对象对应的对象区域以及将对象区域标准化，并且辨识的步骤可包括基于脸部表情识别模型从标准化的对象区域计算对象的脸部表情强度。

所述方法还可包括：基于对象的脸部表情强度确定反馈信息；将确定的反馈信息提供给用户。

确定的步骤可包括：搜索多项内容中的与基于对象的脸部表情辨识的情绪对应的内容；提供找到的内容中的具有与所述脸部表情强度对应的情绪等级的内容。

获取的步骤可包括采集帧图像，所述方法还可包括：从帧图像选择从被辨识为中性脸部表情的第一帧图像和被辨识为多个脸部表情中的一个脸部表情的第二帧图像的连续帧的脸部表情图像；基于选择的脸部表情图像更新脸部表情识别模型。

选择的步骤可包括将帧图像中的具有基本上最大的脸部表情强度的帧图像确定为第二帧图像，更新的步骤可包括：基于脸部表情图像的总数量和脸部表情图像中的每个的帧顺序来将脸部表情强度映射到脸部表情图像中的每个；更新脸部表情识别模型，以从脸部表情图像中的每个输出映射到相应的脸部表情图像的脸部表情强度。

更新的步骤可包括：辨识与对象对应的用户信息；针对辨识的用户信息的每项，更新脸部表情识别模型。

在另一总体的方面，还提供一种脸部表情识别训练方法，所述方法包括：从原始图像产生合成图像，其中，合成图像被产生为具有与原始图像的脸部表情强度不同的脸部表情强度；基于包括原始图像和合成图像的训练数据来训练脸部表情识别模型。

产生的步骤可包括：从原始图像提取纹理信息；通过将提取的纹理信息与对应于合成图像的脸部表情强度的对象形状模型进行合成来产生合成图像。

产生的步骤还可包括：基于指定的脸部表情强度变形具有默认脸部表情强度的对象形状模型。

产生的步骤还可包括：基于指定的姿态变形具有默认姿态的对象形状模型。