[发明专利]基于UE引擎的无标记表演捕捉系统

权利要求书

1.一种基于UE引擎的无标记表演捕捉系统，其特征在于，所述系统包括：

面部表演捕捉模块，配置为采集表演者的面部图像数据，并根据所述面部图像数据计算所述表演者的面部表情的权重参数，并记为第一权重参数；

动作表演捕捉模块，配置为采集所述表演者的骨骼图像数据，并根据所述骨骼图像数据确定所述表演者的人体姿态参数；

动画生成模块，配置为根据所述第一权重参数和所述人体姿态参数，利用UE图形程序生成所述表演者对应人物角色的3D模型的动作和表情。

2.根据权利要求1所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述面部表演捕捉模块包括面部图像采集单元和表情计算单元，

所述面部图像采集单元，配置为采集所述表演者正面人脸的面部图像数据；

所述表情计算单元，配置为对所述面部图像数据进行特征点跟踪，并计算所述表演者的面部表情的权重参数。

3.根据权利要求1所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述动作表演捕捉模块包括骨骼数据采集单元和人体姿态确认单元；

所述骨骼图像采集单元包括多台Kinect传感器，配置为从不同的角度采集所述表演者的多帧骨骼图像数据，各帧所述骨骼图像数据包括组成人体骨骼的各关节点的关节点坐标和各所述关节点的跟踪属性，并根据所述跟踪属性为各所述骨骼图像数据的各个关节点分配可信度；

所述人体姿态确认单元，配置为根据所述表演者的骨骼图像数据中各关节点坐标和各所述关节点坐标变化确定出所述表演者的人体姿态参数。

4.根据权利要求3所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述人体姿态确认单元进一步配置为：

利用预设的坐标转换矩阵对各台Kinect传感器所采集的骨骼图像数据进行坐标系转换，生成参考骨骼数据；

根据各参考骨架数据利用加权平均算法合成所述表演者的平均骨架数据。

5.根据权利要求4所述的基于UE引擎的无标记表演捕捉系统，其特征在于，“根据各参考骨架数据利用加权平均算法合成所述表演者的平均骨架数据”，包括：

确定所述参考骨架数据的关节点的可信度为所述关节点的权重因子；

根据各参考骨架数据的任一关节点坐标和所述关节点的权重因子计算所述关节点坐标的平均值；

根据组成人体骨架的全部关节点坐标的平均值确定所述表演者的平均骨架数据。

6.根据权利要求1所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述动画生成模块包括骨骼运动控制单元和表情控制单元；

所述骨骼运动控制单元，配置为根据所述动作表演捕捉模块确定的人体姿态参数，利用所述UE图形程序生成人物角色的3D模型的动作动画；

所述表情控制单元，配置为根据所述面部表演捕捉模块确定的面部表情权重参数，利用所述UE图形程序生成所述人物角色的3D模型的表情动画。

7.根据权利要求6所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述骨骼运动控制单元，进一步配置为：

利用预设的映射关系，将所述平均骨架数据转换为UE4图形程序中所述人物角色的角色模型数据；

采用四元数混合的方式将所述角色模型数据通过UE4引擎赋值到所述人物角色的3D模型；

计算初始骨架变化到当前骨架的过程中每根骨骼的变化量；

将各所述变化量附加对应骨骼的父关节点，确定出所述人物角色的3D模型的动作动画。

8.根据权利要求6所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述表情控制单元，进一步配置为：

将所述第一权重参数与预设角色表情库的各基础表情进行对应，确定出所述面部表情对应的基础表情组合；

利用预设的目标变形函数与所述角色表情库中各基础表情的对应关系，确定出所述面部表情对应于所述人物角色的3D模型的表情动画。