[发明专利]一种实现与虚拟角色实时互动的表情克隆方法及装置

权利要求书

1.一种实现与虚拟角色实时互动的表情克隆方法，其特征在于，包括如下步骤：

步骤1、对虚拟角色在三维软件中进行建模，得到虚拟角色模型，并对其进行骨骼的绑定，设定脖子关节为根关节；

步骤2、建立基础表情库，所述基础表情库包括未经网格变形的初始表情和通过已绑定的骨骼对所述初始表情进行表情控制操作后得到的多种基础表情；

步骤3、录制真人对应的所述初始表情和多种基础表情，获取初始表情下预定数量的面部特征点的初始空间坐标以及不同基础表情对应的所述面部特征点的位移空间坐标，根据所述面部特征点的初始空间坐标和位移空间坐标得到不同基础表情对应的所述面部特征点的最大位移，此时所述多种基础表情的权值为1；

步骤4、实时捕捉真人的面部表情变化，得到真人对应的所述多种基础表情相应的权值，并利用所述权值对所述虚拟角色模型进行骨骼的旋转插值，实时渲染输出所述虚拟角色模型。

2.如权利要求1所述的方法，其中，步骤4具体包括：

捕捉真人面部表情，识别真人当前面部表情下所述面部特征点及其空间坐标；

计算当前面部表情下所述面部特征点的空间坐标与初始表情下所述面部特征点的初始空间坐标的差值，得到所述面部特征点的当前位移；

利用不同基础表情对应的所述面部特征点的最大位移和当前位移得到所述不同基础表情的当前权值；

将所述不同基础表情的当前权值赋予所述虚拟角色模型的相应基础表情，得到每一骨骼在相应的基础表情下的旋转值，并对每一骨骼的所有旋转值叠加后，得到与虚拟角色模型初始表情的旋转插值，最终得到当前帧虚拟角色模型的当前面部表情；

根据所述虚拟角色模型的当前面部表情，实时渲染输出显示所述虚拟角色模型。

3.如权利要求2所述的方法，其中，步骤4中对眼珠和脖子进行单独的旋转计算，具体为：

眼珠转动是通过运动捕捉设备对眼睛的单独摄制，计算其处于眼眶中的位置，并赋予虚拟角色；

脖子转动是根骨骼的旋转，是通过人体头部的整体旋转效果得到的。

4.如权利要求2所述的方法，其中，所述不同基础表情的当前权值如下计算：

ΔT_k＝T_tk-T′_0k

其中，ω_it为当前时刻t的基础表情p_i对应的当前权值，ΔT_k是第k个面部特征点，在当前时刻t，相对于初始表情下对应面部特征点的位移，ΔT_ik为第k个面部特征点在第i个基础表情时，相对于初始表情的最大位移；T′_0k为第k个面部特征点在初始表情时，经过全局坐标变换之后的空间坐标，T_tk为当前面部表情下第k个面部特征点的空间坐标；ω_k为第k个面部特征点对于第i个基础表情p_i的当前权值，n，n+1，...，n+m-1为第i个基础表情所涉及的面部特征点，共m个。

5.如权利要求2所述的方法，其中，所述每一骨骼在相应的基础表情下的旋转值如下计算：

θ＝arccos(q₀·q_ij)

其中，q_j为骨骼s_j经过旋转插值后的四元数旋转值，q₀为初始表情的四元数旋转值，q_ij为骨骼s_j在基础表情p_i时的旋转值，ω_i为基础表情p_i对应的当前权值，可计算得到θ为q₀与q_ij的夹角。

6.如权利要求1-5任一项所述的方法，其中，步骤3中所录制的真人图像为基于深度信息的彩色图像。