[发明专利]生成虚拟动画表情的方法和装置

说明书

本申请实施例公开了生成虚拟动画表情的方法和装置。该生成虚拟动画表情的方法包括：获取人脸视频的当前帧；获取当前帧的脸部表情网格对应各个基础表情基网格的第一权重系数和情感表情标签；基于所述情感表情标签，确定当前帧的脸部表情网格对应各个情感表情网格的第二权重系数；将所述第一权重系数和所述第二权重系数分别输入脸部表情模型，确定脸部表情网格，其中，所述脸部表情模型将脸部表情网格采用正常表情网格、预定数量的基础表情基网格的线性加权结果和预设数量的情感表情网格的线性加权结果表示。该方法通过情感表情标签的方式来生成说话过程中的情感化表情动画，可以使得动画生动、逼真，提升了动画效果，并减少了人工操作。

技术领域

本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及生成虚拟动画表情的方法和装置。

背景技术

为了获得更丰富的表情动作，需要虚拟动画的形象在说话时融合一些特殊的情感表情。例如，微笑着说话，悲伤地说话，俏皮地说话等等。此外，我们需要合成带有多种情感表情的面部动作，例如“鄙视地笑”这个动作既有带有“鄙视”又带有“笑”的情感表情。“带有愤怒的惊讶”则带有“惊讶”和“愤怒”的这两种情感表情。

目前在合成形象时，如果要在说话过程中加入情感表情，通常采用以下两种方式来实现：一种方式是通过美术人员在3D建模软件(例如Autodesk Maya、blender等)里对已经合成的说话时的3D模型进行模型调整，对动画的每一帧进行手工操作，形成关键帧。另一种方式是采集发言人在不同情感表情时的说话数据(图像或者音频数据)，重新训练模型来得到人物形象说话过程中在不同情感表情状态下的表情基系数。

然而，通过手工调整的方式，需要美术人员进行大量的人工操作，工作效率低，人工成本高，并且生成的3D模型往往不可复用。通过数据采集训练模型的方式，由于情感表情和表情基之间的耦合，需要采集在每一种情感表情状态下的说话动作，作为样本，才能进行训练。由于情感表情跟说话动作之间的组合多种多样，因此需要发言人在不同表情下进行说话，对发言人的要求很高，同时采集的数据量也很大。

发明内容

本申请实施例提供了生成虚拟动画表情的方法和装置。

第一方面，本申请实施例提供了一种生成虚拟动画表情的方法，包括：获取人脸视频的当前帧；获取当前帧的脸部表情网格对应各个基础表情基网格的第一权重系数和情感表情标签；基于所述情感表情标签，确定当前帧的脸部表情网格对应各个情感表情网格的第二权重系数；将所述第一权重系数和所述第二权重系数分别输入脸部表情模型，确定脸部表情网格，其中，所述脸部表情模型将脸部表情网格采用正常表情网格、预定数量的基础表情基网格的线性加权结果和预设数量的情感表情网格的线性加权结果表示。

在一些实施例中，所述基础表情基网格采用基础表情基特征向量表示；以及所述情感表情网格采用情感表情特征向量表示。

在一些实施例中，所述情感表情特征向量采用预定数量的所述基础表情基特征向量的线性加权结果表示。

在一些实施例中，所述情感表情特征向量采用预定数量的所述基础表情基特征向量的线性加权结果表示包括：采用最小二乘法将所述情感表情特征向量投影至由所述基础表情特征向量组成的线性空间中，得到所述情感表情特征向量的投影表示；基于以下约束条件确定所述情感表情特征向量投影至所述投影表示的投影系数：所述情感表情特征向量与所述投影表示在空间上的直线距离为最小值；以及所述投影系数在0与1之间。

在一些实施例中，所述基础表情基网格采用基础表情基特征向量表示包括：采用主成分分析算法降维所述基础表情基网格的顶点维度，得到基础表情基网格降维后的基础表情基特征向量。

在一些实施例中，所述情感表情网格采用情感表情特征向量表示包括：采用主成分分析算法降维所述情感表情网格的顶点维度，得到情感表情网格降维后的情感表情特征向量。