[发明专利]一种动态虚拟形象生成方法、装置、及存储介质

说明书

本发明涉及虚拟社交领域，具体涉及一种动态虚拟形象生成方法、装置、及存储介质。一种动态虚拟形象生成方法，包括：提取第一人脸特征信息；基于所述第一人脸特征信息形成静态虚拟形象；提取第一语音特征信息；所述第一语音特征信息包括第一语音个性信息及第一语义信息；基于所述第一语音个性信息确定第一运动系数；基于所述第一语义信息、第一运动系数驱动所述静态虚拟形象，获得所述动态虚拟形象。本发明解决了现有技术虚拟形象生成方法语音驱动的过程中，个性化程度差，延迟程度高的技术问题，使得动态虚拟形象能够个性化、无延迟地展示交流主体的特点，提升了用户体验及趣味性。

技术领域

本发明涉及虚拟社交领域，具体涉及一种动态虚拟形象生成方法、装置、及存储介质。

背景技术

在虚拟社交沟通过程中，随语音动态的虚拟形象变化能够极大的提升用户体验，更贴近真实的面对面交流。现有技术的语音驱动的动态虚拟形象的变化，由于对交流主体表达特点的个性化把握及缺乏个性化设置进而为提升实时性采用更复杂算法带来的计算量问题，难以较好的实现动态虚拟形象与语音的同步，降低用户体验。

发明内容

为解决现有技术虚拟形象生成方法语音驱动的过程中，个性化程度差，延迟程度高的技术问题，本发明提出一种动态虚拟形象生成方法、装置、及存储介质。

本发明第一方面提供一种动态虚拟形象生成方法，包括：

提取第一人脸特征信息；

基于所述第一人脸特征信息形成静态虚拟形象；

提取第一语音特征信息；所述第一语音特征信息包括第一语音个性信息及第一语义信息；

基于所述第一语音个性信息确定第一运动系数；

基于所述第一语义信息、第一运动系数驱动所述静态虚拟形象，获得所述动态虚拟形象。

在一些实施例中，所述第一运动系数为预测的blendshape系数，所述预测的blendshape系数的确定方法为：将第一语音个性信息依次输入transform及卷积神经网络，获得所述预测的blendshape系数。

在一些实施例中，所述动态虚拟形象生成方法还包括：建立第二语义信息与所述第一运动系数的映射关系；所述第二语义信息包括所述第一语义信息。

在一些实施例中，所述基于所述第一语义信息、第一运动系数驱动所述静态虚拟形象，获得所述动态虚拟形象的方法为：

基于所述第一运动系数与第一运动权重的乘积，驱动所述静态虚拟形象的网格顶点运动，所述第一运动权重基于所述静态虚拟形象的网格顶点数量确定。

在一些实施例中，基于人脸关键点构建至少包括眼型轮廓、口型轮廓及脸型轮廓的面部信息，将发型信息及饰品信息叠加至所述面部信息，形成静态虚拟形象。

在一些实施例中，所述第一运动系数用于驱动包括所述眼型轮廓、口型轮廓及脸型轮廓的面部信息的网格顶点。

本发明的第二发明提供一种动态虚拟形象生成装置，包括：

图像获取单元，用于获取人脸图像；

语音获取单元，用于获取驱动语音；

图像特征提取单元，用于提取所述人脸图像的第一人脸特征信息；

语音特征提取单元，用于提取所述驱动语音的第一语音特征信息；

静态虚拟形象生成单元，用于基于所述第一人脸特征信息形成静态虚拟形象；

计算单元，用于基于所述第一语音个性信息确定第一运动系数；

驱动单元，用于基于所述第一语义信息及所述第一运动系数驱动所述静态虚拟形象，获得所述动态虚拟形象。