[发明专利]基于个性化表情基的控制信息生成方法、装置、电子设备和可读存储介质

说明书

本申请提供一种基于个性化表情基的控制信息生成方法、装置、电子设备和可读存储介质，通过获得参考对象处于不同状态下的多张脸部图像，基于预设的多个表情基模板将各张脸部图像中包含的脸部特征进行拆分，生成多个个性化表情基。再获得参考对象处于不同设定表情下的视频帧，根据视频帧和个性化表情基生成与各设定表情对应的包含个性化表情基的控制信息并保存。该方案，基于表情基模板可以生成体现参考对象特点的个性化表情基，并基于不同设定表情的视频帧和个性化表情基，可得到以个性化表情基来表征的控制信息，进而用于后续虚拟形象的控制。如此，可降低设备复杂度且避免过多干扰，并且，得到的控制信息可准确体现各设定表情。

技术领域

本申请涉及直播技术领域，具体而言，涉及一种基于个性化表情基的控制信息生成方法、装置、电子设备和可读存储介质。

背景技术

随着直播行业的流行，越来越多的人作为主播进入了直播行业。传统的直播行业主要依赖于主播的个人才艺表演来吸引观众，主播总是以单一的形象(自我形象)进行直播，缺少多样性，限制了许多有趣的直播模式和玩法。因此近来衍生出一种新的直播形式，即虚拟直播，让主播可以在背后驱动多种不同的虚拟形象进行个性化直播。

高精度生动形象的虚拟形象的表情动画的生产主要有两种方式，一种是基于动画师针对一帧帧图像进行手动绘制的信息来驱动虚拟形象，这种方式效率非常低，不适用于批量生产。还有一种方式是通过在对象脸部添加标记点，基于标记点的方式来生成用于驱动虚拟形象的控制信息。这种方式由于需要添加标记点，存在设备复杂、造成过多干扰的问题。

发明内容

本申请的目的包括，例如，提供了一种基于个性化表情基的控制信息生成方法、装置、电子设备和可读存储介质，其能够在降低设备复杂度且避免过多干扰的情况下，得到可准确体现各表情的控制信息。

本申请的实施例可以这样实现：

第一方面，本申请提供一种基于个性化表情基的控制信息生成方法，所述方法包括：

获得参考对象处于不同状态下的多张脸部图像；

基于预设的多个表情基模板和所述多张脸部图像，将各所述脸部图像中包含的脸部特征进行拆分，生成多个个性化表情基；

获得所述参考对象处于不同的设定表情下的视频帧；

根据所述视频帧和所述个性化表情基，生成与各所述设定表情对应的包含个性化表情基的控制信息，并保存所述控制信息。

在可选的实施方式中，所述方法还包括：

在直播过程中，获得针对构建的虚拟形象的控制表情指令，并获得所述控制表情对应的设定表情；

提取保存的与所述设定表情对应的控制信息；

根据所述控制信息控制所述虚拟形象进行所述控制表情的展示。

在可选的实施方式中，所述根据所述视频帧和所述个性化表情基，生成与所述设定表情对应的包含个性化表情基的控制信息的步骤，包括：

将各所述个性化表情基赋予基系数后进行组合得到组合表情基；

利用所述视频帧与所述组合表情基进行比对，并基于比对结果调整各所述基系数，直至满足预设要求时获得最终与所述设定表情对应的基系数组合；

基于所述基系数组合和所述个性化表情基生成控制信息。

在可选的实施方式中，所述视频帧包含三维特征点的点云信息；

所述利用所述视频帧与所述组合表情基进行比对，并基于比对结果调整各所述基系数，直至满足预设要求时获得最终与所述设定表情对应的基系数组合的步骤，包括：

将所述三维特征点的点云信息与所述组合表情基中的特征点进行对齐操作；