[发明专利]一种基于面部运动单元的三维非真实感表情生成方法

说明书

本发明提出了一种基于面部运动单元的三维非真实感表情生成方法。首先，建立标准的三维面部中性模型以及与面部运动单元AU对应的三维模型基础训练集。其次，运用GAN网络生成扩增训练集。将三维模型基础训练集中的面部运动单元AU模型与目标对象模型作为GAN网络的输入，使用GAN网络生成目标对象的面部运动单元AU模型，扩增训练集。然后，对所要生成的目标对象的面部表情进行分析，输入人脸二维图像，使用神经网络分析人脸表情，获取表情的面部运动单元AU模型数据。最后，根据得到的面部运动单元AU数据信息，以及目标对象的相关面部运动单元AU模型数据，融合生成目标表情的三维模型。本发明不仅可以实现基础表情的表情仿真，也可以实现基于面部运动单元AU的表情迁移。

技术领域

本发明涉及基于面部运动单元(AU)的三维非真实感表情生成方法，属于智能情感计算技术领域。

背景技术

在人类情感信息的表达方式中，除了肢体动作和语言信息外，面部也是人类表达信息的重要部位，通过面部的动作表达人类的情感信息是人类日常交流的主要方式之一。人脸表情中含有丰富的信息，Mehrabian提出人类情感信息有55％是通过人脸传递的，而声音、言语等方式仅占了45％。随着计算机技术的发展，人类对人机交互的要求越来越高，情感计算也受到广泛关注，它要求计算机不仅能识别人类情感，还能理解人类情感并做出应答，从而使计算机能够像人与人一样进行情感交流，既有表情的识别又有表情动作的互动。识别面部表情并对面部情感信息做出表情应答，是一个完整的过程。在智能人机交互过程中，人类希望计算机能够像人一样，对人类的表情做出应答和模仿。

表情动画生成方法主要是将表情的发出者作为表情的模板，使目标对象模仿模板表情，主流方法通过定位面部的特征点，根据特征点的信息重建面部表情及面部动作。但是，选取的特征过点多会影响计算效率，选取的特征点少则会影响表情的表达效果。除此而外，目前的方法在目标重建表情过程中并不理解重建表情的种类，造成表情信息丢失。

在人机交互过程中，需要提取参与者的表情信息并对提取的表情信息做出应答，显然，对于人类丰富多态的表情做出回应，已有的基于将源人物面部表情动作映射到目标人物面部图像的方式在人机交互过程中缺乏灵活性。

著名心理学家保罗·艾克曼基于解剖学，根据肌肉的动作状态来表征人类表情，提出面部运动单元的概念，每一个面部运动单元代表与其他面部运动单元互不干扰的面部动作，由不同的面部运动单元组成具有表情意义的面部动作。基于AU的表情动画生成方法，可以通过AU组合生成表情，人作为面部动作的捕捉对象不再是方法的必要条件，并且可以更丰富化人类表情动作，从而更细致更贴近真实表情。

在河北工业大学张满囤、葛新杰、吴鸿韬、李智、魏玮、2013年07月10日公开、公开号CN103198508A、发明名称为“人脸表情动画生成方法”的中国发明专利申请中，提出一种基于运动捕捉数据的人脸动画生成方法，他们首先使用摄像机捕捉人脸的正面照片，使用径向基函数技术对人脸变形，重新映射人脸的纹理部分，通过将面部划分成不同的区域进行局部形变，最后融合成人脸模型。该发明需要设备记录生气、悲伤、厌恶、惊讶、恐惧和高兴六种基本表情，通过其他方法感知后进行处理，通过41个特征点提取特征。该发明在设备提取数据时采用的六种基础表情，而人类表的面部表情丰富多彩、多种多样，每一种基础表情又由不同的表达方式，例如，微笑和大笑，都属于高兴；因而表达的丰富性不够。其次，基于特征点提取特征的方法，特征点位置的精确度直接影响算法后续的准确性，并不能避免特征点提取存在误差的问题。

在大连东锐软件有限公司王春成、刘鑫、郑媛媛、2018年12月28日公开、公开号CN109101953A、发明名称为“基于人类面部表情的分区要素化的表情动作生成方法”的中国发明专利申请中，提出基于人类面部表情的分区要素化的表情动作生成方法，通过采集多个对象的面部表情各部分的运动数据建立数据库；根据外部输入表达内心情感参数，取面部综合表情动作参数L为最终面部表情参数R；将最终面部表情参数R用于控制目标模型运动，生成表情动作。该方法在建立数据库过程中，需要扫描采集多个对象的各个面部的不同角度的运动数据，无疑增加数据采集的工作量。