[发明专利]化身面部表情和/或语音驱动的动画化

说明书

本文公开了与动画化和渲染化身相关联的设备、方法和存储介质。在实施例中，一种设备可以包括面部表情和语音跟踪器，用于分别接收用户的多个图像帧和音频，并且分析所述图像帧和所述音频从而确定并跟踪所述用户的面部表情和语音。所述跟踪器还可以基于所述用户的所跟踪的面部表情或语音来选择用于对所述化身进行动画化的多个混合形状，包括分配所述混合形状的权重。当用于跟踪所述用户的面部表情的视觉条件被确定为低于质量阈值时，所述跟踪器可以基于所述用户的所述所跟踪的语音来选择所述多个混合形状，包括分配所述混合形状的权重。可公开和/或要求保护其他实施例。

技术领域

本公开涉及数据处理领域。更具体地，本公开涉及对化身的动画化和渲染，包括面部表情和/或语音驱动的动画化。

背景技术

本文中所提供的背景描述是为了一般地呈现本公开的背景的目的。除非本文中另外指出，否则本节中所描述的材料对于本申请的权利要求书而言并非现有技术，并且不因为包括在本节中而被承认是现有技术。

作为用户的图形表示，化身在虚拟世界中已经相当流行。然而，大多数现有的化身系统是静态的，并且很少是由文本、脚本或语音驱动的。一些其他化身系统使用图形交换格式(GIF)动画，这是依次播放的一组预先定义的静态化身图像。近年来，随着计算机视觉、相机、图像处理等的进步，一些化身可由面部表情驱动。然而，现有系统往往是计算密集型的，需要高性能的通用和图形处理器，并且在诸如智能电话或计算平板电脑的移动装置上不能很好地工作。此外，现有的系统没有考虑到有时候视觉条件对于面部表情跟踪可能不理想的事实。结果，提供了不太期望的动画。

附图说明

结合附图，借助于以下详细描述将很容易理解实施例。为了方便本描述，相同的参考标号指代相同的结构元件。在附图的各图中通过示例的方式而非限制的方式展示了实施例。

图1展示了根据各实施例的小型化身系统的框图。

图2更详细地展示了根据各实施例的图1的面部表情跟踪功能。

图3展示了根据各实施例的用于跟踪和分析用户的语音的示例性过程。

图4是展示根据各实施例的用于基于用户的面部表情或语音来对化身进行动画化的示例性过程的流程图。

图5展示了根据所公开的实施例的适合用于实践本公开的各个方面的示例性计算机系统。

图6展示了根据所公开的实施例的具有用于实践参考图2至图4所描述的方法的指令的存储介质。

具体实施方式

本文公开了与动画化和渲染化身相关联的设备、方法和存储介质。在实施例中，一种设备可以包括面部表情和语音跟踪器，所述面部表情和语音跟踪器包括面部表情跟踪功能和语音跟踪功能，用于分别接收用户的多个图像帧和音频，并且分析所述图像帧和音频从而确定并跟踪所述用户的面部表情和语音。所述面部表情和语音跟踪器还可以包括动画化消息生成功能以基于所述用户的所跟踪的面部表情或语音来选择用于对所述化身进行动画化的多个混合形状，包括分配所述混合形状的权重。

在实施例中，当用于跟踪所述用户的面部表情的视觉条件被确定为低于质量阈值时，所述动画化消息生成功能可以基于所述用户的所述所跟踪的语音来选择所述多个混合形状，包括分配所述混合形状的权重；并且当用于跟踪所述用户的面部表情的视觉条件被确定为等于或高于质量阈值时，所述动画化消息生成功能可以基于所述用户的所述所跟踪的面部表情来选择所述多个混合形状，包括分配所述混合形状的权重。

在这两种情况下，在实施例中，所述动画化消息生成功能可以以动画化消息的形式输出所述所选择的混合形状及其分配的权重。