[发明专利]一种动态图像的生成方法、装置、电子设备和存储介质

说明书

本公开关于一种动态图像的生成方法、装置、电子设备和存储介质，所述方法包括：获取静态图像和参考图像，参考图像为动态参考视频中的任意一帧图像，将静态图像和参考图像输入到动态特征提取模型中进行动态特征的提取，得到动态变换信息。将动态变换信息和静态图像输入到图像合成模型中进行图像合成，得到合成图像。根据参考图像的时间顺序，对合成图像进行视频编码，可以得到动态化视频。该方法可以提高由静态图像生成动态化视频的准确性和实用性，从而简化了视频制作的步骤，扩大了动态图像生成技术的应用范围。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种动态图像的生成方法、装置、电子设备和存储介质。

背景技术

视频作为内容的一种载体，天然比图文在信息表达和吸引受众上存在优势。近几年来，随着移动互联网的快速发展，短视频、直播等各种用户可以上传原创视频的平台大量出现，逐渐成为互联网内容的主流。但另外一方面，视频创作也存在着门槛较高的缺点，一个视频从想法到最终成型需要经历脚本设计、素材拍摄、视频剪辑、配音配乐等诸多环节，这在相当程度上阻碍了更多的用户参与到视频创作中去。在相关技术中，动态图像生成技术大都局限在特定的物体上，例如只能应用在人脸或人体上，极大的限制了动态图像生成技术的应用范围和实用性。

发明内容

本公开提供一种动态图像的生成方法、装置、电子设备和存储介质，以至少解决相关技术中动态图像生成技术的应用范围窄，实用性低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种动态图像的生成方法，所述方法包括：

获取静态图像和动态参考视频，所述静态图像包括静态对象，所述动态参考视频包括参考对象，所述静态对象和所述参考对象的类型相同；

从所述动态参考视频中提取任意一帧图像作为参考图像；

将所述参考图像和所述静态图像输入到动态特征提取模型中进行动态特征提取，得到所述参考图像和所述静态图像间的动态变换信息，所述动态变换信息表征所述静态对象的动作和所述参考对象的动作间的转换关系；

将所述动态变换信息和所述静态图像输入到图像合成模型中进行特征融合，得到合成图像；

根据所述动态参考视频中参考图像对应的时间顺序，对所述合成图像进行视频编码，得到动态化视频。

作为一个可选的实施例，所述动态特征提取模型包括运动关键点提取网络和帧间运动估计网络，所述将所述参考图像和所述静态图像输入到动态特征提取模型中进行动态特征提取，得到所述参考图像和所述静态图像间的动态变换信息包括：

将所述参考图像和所述静态图像输入到所述运动关键点提取网络中进行运动关键点提取，得到所述静态图像的第一运动关键点数据和所述参考图像的第二运动关键点数据；

将所述第一运动关键点数据、所述第二运动关键点数据、所述参考图像和所述静态图像输入到所述帧间运动估计网络中，基于所述参考图像和所述静态图像，对所述第一运动关键点数据和所述第二运动关键点数据组合的数据进行处理，得到动态变换信息。

作为一个可选的实施例，所述帧间运动估计网络包括数据组合层、降维卷积层、多个下采样层和与多个下采样层一一对应的上采样层，所述基于所述参考图像和所述静态图像，对所述第一运动关键点数据和所述第二运动关键点数据组合的数据进行处理，得到动态变换信息包括：

在所述数据组合层中，对所述第一运动关键点数据和所述第二运动关键点数据进行组合，得到运动关键点组合数据；

基于所述多个下采样层，对所述运动关键点组合数据进行下采样处理，得到多个初始动态特征信息；

根据每个下采样层输出的初始动态特征信息和所述每个下采样层对应的上采样层输出的目标动态特征信息，确定目标上采样层的输入信息，所述目标上采样层为每个下采样层对应的上采样层的下一上采样层；