[发明专利]化身面部表情和/或语音驱动的动画化

权利要求书

1.一种用于对化身进行动画化的设备，包括：

一个或多个处理器；以及

面部表情和语音跟踪器，包括面部表情跟踪功能和语音跟踪功能，以由所述一个或多个处理器操作以用于分别接收用户的多个图像帧和音频，并且分析所述图像帧和所述音频从而确定并跟踪所述用户的面部表情和语音；

其中，所述面部表情和语音跟踪器进一步包括动画化消息生成功能以基于所述用户的所跟踪的面部表情或语音来选择用于对所述化身进行动画化的多个混合形状，包括分配所述混合形状的权重；

其中，所述动画化消息生成功能用于：当用于跟踪所述用户的面部表情的视觉条件被确定为低于质量阈值时，基于所述用户的所跟踪的语音来选择所述多个混合形状，包括分配所述混合形状的权重。

2.如权利要求1所述的设备，其中，所述动画化消息生成功能用于：当用于跟踪所述用户的面部表情的视觉条件被确定为处于或高于质量阈值时，基于所述用户的所跟踪的面部表情来选择所述多个混合形状，包括分配所述混合形状的权重。

3.如权利要求1所述的设备，其中，所述面部表情跟踪功能用于：进一步分析所述图像帧的所述视觉条件，并且所述动画化消息生成功能用于：确定所述视觉条件是低于、处于还是高于质量阈值以便跟踪所述用户的面部表情。

4.如权利要求3所述的设备，其中，为了分析所述图像帧的所述视觉条件，所述面部表情跟踪功能用于：分析所述图像帧的照明条件、焦点或运动。

5.如权利要求1至4中任一项所述的设备，其中，为了分析所述音频并跟踪所述用户的语音，所述语音跟踪功能用于：接收并分析所述用户的所述音频以确定句子，将每个句子解析为单词，并且然后将每个单词解析为音素。

6.如权利要求5所述的设备，其中，所述语音跟踪功能用于：针对端点分析所述音频以确定所述句子、提取所述音频的特征以标识所述句子的单词并且应用模型来标识每个单词的音素。

7.如权利要求5所述的设备，其中，所述语音跟踪功能用于：进一步确定所述语音的音量。

8.如权利要求7所述的设备，其中，当所述动画化消息生成功能基于所述用户的所述语音来选择所述混合形状并为所选择的混合形状分配权重时，所述动画化消息生成功能用于根据所确定的所述语音的所述音素和音量来选择所述混合形状并为所述所选择的混合形状分配权重。

9.如权利要求5所述的设备，其中，为了分析所述图像帧并跟踪所述用户的面部表情，所述面部表情跟踪功能用于：接收并分析所述用户的所述图像帧，以确定所述用户的面部运动和头部姿态。

10.如权利要求9所述的设备，其中，当所述动画化消息生成功能基于所述用户的所述面部表情来选择所述混合形状并为所选择的混合形状分配权重时，所述动画化消息生成功能用于根据所确定的所述面部动作和头部姿态来选择所述混合形状并为所选择的混合形状分配权重。

11.如权利要求9所述的设备，进一步包括：化身动画化引擎，所述化身动画化引擎由所述一个或多个处理器操作以使用所选择和加权的混合形状来对所述化身进行动画化；以及化身渲染引擎，所述化身渲染引擎与所述化身动画化引擎耦合并由所述一个或多个处理器操作以绘制由所述化身动画化引擎动画化的所述化身。

12.一种用于渲染化身的方法，包括：

由计算装置接收用户的多个图像帧和音频；

由所述计算装置分别分析所述图像帧和所述音频以确定并跟踪所述用户的面部表情和语音；以及

由所述计算装置基于所述用户的所跟踪的面部表情或语音来选择用于对所述化身进行动画化的多个混合形状，包括分配所述混合形状的权重；

其中，当用于跟踪所述用户的面部表情的视觉条件被确定为低于质量阈值时，基于所述用户的所跟踪的语音来选择所述多个混合形状，包括分配所述混合形状的权重。