[发明专利]一种提升表情基表达能力的方法、装置、设备及介质

说明书

本申请提供了一种提升表情基表达能力的方法、装置、设备及介质，该方法包括：基于初始表情参数化模型提取每一帧三维重建数据的初始语义参数，并通过初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定初始参数化结果和三维重建数据是否匹配；若不匹配，则根据初始参数化结果和三维重建数据的误差信息，生成表情残差数据；使用表情残差数据调整初始表情参数化模型，得到调整后的第二参数化模型，通过第二参数化模型确定的第二表情基驱动面部模型生成与三维重建数据相匹配的第二参数化结果。本申请不需要人工进行外部数据的输入，提高了效率。

技术领域

本申请涉及计算机动画技术领域，具体而言，涉及一种提升表情基表达能力的方法、装置、设备及介质。

背景技术

传统的人脸动画采用多视角三维重建的人脸表情直接驱动人脸模型的方式，这种方式会占用大量的内存，同时也不便于动画师进行编辑操作。随着计算机技术的飞速发展，重建人脸表情源数据通过转化为参数化的表情序列的形式来降低内存。

目前，较多使用通用的Blendshape模型对重建的人脸表情进行参数化转化。使用通用的Blendshape模型对重建的人脸表情得到参数，在不同人脸上会存在表达精度不足的问题，为了提高Blendshape模型的表达精度，现有技术主要通过引进外部采集到的特定人脸表情，这里的采集方式主要包括对特定演员配合进行拍摄采集，或者通过人工刻画。上述提高Blendshape模型精度的方式都需要额外的人工操作，效率较低。

发明内容

有鉴于此，本申请的目的在于提供一种提升表情基表达能力的方法、装置、设备及介质，在不需要人工外部输入数据的情况下，能够自动表情基的表达效果进行提升，降低了人工成本，提高了处理效率。

第一方面，本申请实施例提供了一种提升表情基表达能力的方法，所述方法包括：

基于初始表情参数化模型提取连续多帧三维重建数据中每一帧三维重建数据的初始语义参数，并通过所述初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；

将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定该第一表情基下的初始参数化结果和三维重建数据是否匹配；

若不匹配，则根据该第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据；

使用所述表情残差数据调整所述初始表情参数化模型，并基于调整后的第二参数化模型提取所述连续多帧三维重建数据中每一帧三维重建数据的第二语义参数向量，并通过所述第二语义参数向量对应的第二表情基驱动所述面部模型生成与三维重建数据相匹配的第二参数化结果。

第二方面，本申请实施例提供了一种提升表情基表达能力的装置，所述装置包括：

提取模块，用于基于初始表情参数化模型提取连续多帧三维重建数据中每一帧三维重建数据的初始语义参数，并通过所述初始语义参数对应的第一表情基驱动预设的面部模型生成初始参数化结果；

误差分析模块，用于将每一第一表情基下的初始参数化结果和三维重建数据进行对比，确定该第一表情基下的初始参数化结果和三维重建数据是否匹配；

生成模块，用于若不匹配，则根据该第一表情基下初始参数化结果和三维重建数据的误差信息，生成表情残差数据；

调整模块，用于使用所述表情残差数据调整所述初始表情参数化模型，并基于调整后的第二参数化模型提取所述连续多帧三维重建数据中每一帧三维重建数据的第二语义参数向量，并通过所述第二语义参数向量对应的第二表情基驱动所述面部模型生成与三维重建数据相匹配的第二参数化结果。