[发明专利]图像处理方法、装置和电子设备

说明书

本申请公开了图像处理方法、装置和电子设备，涉及图像处理技术领域。具体实现方案为：获取第一合成音频；将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；根据所述预测唇形索引，获得目标唇形图像；将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。由于根据预测模型可获取到与第一合成音频对应的预测唇形索引，并进一步的根据预测唇形索引获得目标唇形图像，使得合成的合成面部图像的唇形与第一合成音频的匹配度更高，提高了真人虚拟形象的合成效果。

技术领域

本申请涉及计算机技术领域中的图像处理技术，尤其涉及一种图像处理方法、装置和电子设备。

背景技术

真人虚拟形象合成技术是指根据给定的文本或者语音合成一段真人形象的合成视频，合成的虚拟形象的唇形动作与输入声音或文本匹配，可以应用到直播解说、智能客服以及应对突发的新闻事件的播报等需要人物形象的场景里。

目前，合成的真人虚拟形象的唇动与声音的匹配度较差，导致真人虚拟形象的合成效果较差。

发明内容

本申请实施例提供一种图像处理方法、装置和电子设备，以解决现有真人虚拟形象的合成效果较差的问题。

为解决上述技术问题，本申请是这样实现的：

本申请第一方面提供一种图像处理方法，包括：

获取第一合成音频；

将所述第一合成音频输入至预测模型中，获得预测唇形索引；所述预测模型的训练样本包括第二合成音频，以及与所述第二合成音频对应的唇形索引，所述唇形索引根据对发音对象的唇部采集的唇形图像获得；

根据所述预测唇形索引，获得目标唇形图像；

将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像。

进一步的，所述根据所述预测唇形索引，获得目标唇形图像，包括：

根据所述预测唇形索引，获取所述唇形图像中与所述预测唇形索引匹配的第一候选唇形图像；

根据所述第一候选唇形图像，获得所述目标唇形图像。

进一步的，所述将所述目标唇形图像，投影到预获取的目标面部上，获得合成面部图像，包括：

将所述目标唇形图像与预获取的所述发音对象的下巴图像进行拼接，获得合成下巴图像；

提取所述合成下巴图像的第一特征点，以及所述目标面部下巴图像的第二特征点；

对所述合成下巴图像进行调整，使得所述第一特征点与所述第二特征点之间的误差小于第一预设阈值；

将调整后的所述合成下巴图像投影到所述目标面部上，获得合成面部图像。

进一步的，所述预测模型获取过程包括：

获取所述预设时间段内的原始语音；

获取与所述原始语音对应的文本；

根据所述文本获取所述第二合成音频；

获取所述预设时间段内对所述发音对象的唇部采集的唇形图像；

对所述第二合成音频按照音素进行切分，获取所述唇形图像中与所述音素对应的第二候选唇形图像；

对所述第二候选唇形图像的唇形索引进行超采样插值，使得所述第二合成音频的每一帧语音对应一个唇形索引；

将所述第二合成音频的每一帧语音，以及所述语音对应的唇形索引作为训练样本，对基础模型进行训练，获得所述预测模型。