[发明专利]一种实时表情捕捉系统

说明书

本发明公开了一种实时表情捕捉系统，是一个开放框架，能够支持基于FACS(面部动作编码系统)的数据驱动面部动画，包括实时输入模块、输入数据的参数化修改模块、可视化引擎中的机器学习模块和动画模块，实时处理和动画化基于FACS的数据，支持流行的3D创作工具，如Maya、MAX、Blender等，并且可以在游戏行业的流行工具中实时可视化面部数据，例如Unreal和Unity3D游戏引擎。所有的功能都被分解成可以通过网络调用的模式，以便与其他平台轻松集成，实现了一种用于数据驱动动画实时生成AU(控制单元)数据的深度学习模块，本发明的FACS数据平均显示时间为28ms，已经达到了每秒30帧的实时性要求。

技术领域

本发明属于面部动画制作技术领域，具体为一种实时表情捕捉系统。

背景技术

在面部动画制作中，想要与用户进行社会交互的嵌入式会话代理(ECAs)应该能够将其内部状态返回给用户，面部表情是实现这一目标的常用方法。传统的面部动画方法，通常出现在游戏中，是用手或依靠动作捕捉来创建面部动画。对于ECAs，这种类型的动画在基于规则的系统中非常有用，在这些系统中，分析用户以确定其精神状态，然后触发包含面部动画的响应。虽然这种方法提供了高度逼真的动画，但这种动画在运行时很难修改，因此需要一个大型数据库来进行无脚本的面部响应社会设置，制作大量的面部动画对游戏动画等工业来说太昂贵而且太耗时。

Maya、3DMAX和Blender等平台不再依赖于预先制作的动画，而是通过行为标记语言(BML)对面部表情进行编码。面部动画是通过定义具有开始和结束时间的面部表情的目标值来创建的，虽然这种方法对面部动画的控制能力很强，不需要太多的艺术知识，在ECAs的脚本响应中非常有用，但是，由它生成的动画就不那么自然了。

发明内容

(一)解决的技术问题

为了克服现有技术的上述缺陷，使研究人员能够探索生成数据驱动的方法来生成面部动画，本发明提供了一种实时表情捕捉系统，解决了上述背景技术中所提出的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种实时表情捕捉系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者(演员表演)、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者(虚拟角色)；

所有模块通过网络协议进行通信，例如，利用分布式消息系统ZeroMQ4在发布者-订阅者之间进行通信，所述协议包括TCP、UDP以及其他应用层协议等。

特别需要指出的是，所述数据格式和表情配置是一种面部动画数据，其格式是面部动作编码系统(FACS)，所述FACS包括肌肉强度值，所述肌肉被分成动作单元(AUs)的，所述肌肉强度值存储在一个一维数组中。

所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、blender3插件与FACSHuman3插件，所述混合形状由面部结构是通过线性插值来修改的

所述基于视频信号的输入是基于FACS的数据输入，通过FACS检测引擎，通过网络实时发送AU、眼睛注视和头部旋转值。

所述FACS检测引擎系统包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数。

所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数。

所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交互模块，其他模块只需知道此模块的地址即可发布或订阅数据。