[发明专利]生成视频的方法，装置，存储介质及电子设备

说明书

本公开提供了一种生成视频的方法，装置，存储介质及电子设备。该方法包括：将源视图的三原色图像输入深度及语义网络，得到所述深度及语义网络输出的深度图以及语义图；将所述语义图以及三原色图像输入特征编码器网络，得到特征编码器网络输出的特征图；针对源视图的多个连续的位姿变换矩阵中的每一位姿变换矩阵，根据该位姿变换矩阵与深度图，对语义图和特征图分别进行变换，得到对应于每一位姿变换矩阵的目标语义图和目标特征图；根据对应于每一位姿变换矩阵的目标语义图和目标特征图，分别生成图像帧，得到多个连续的图像帧；将多个连续的图像帧合成为视频。如此，可以使生成的图像帧更加清晰和逼真，从而使生成的视频更加逼真。

技术领域

本公开涉及视频技术领域，具体地，涉及一种生成视频的方法，装置，存储介质及电子设备。

背景技术

随着计算机视觉技术的发展，不断的促进了摄像机技术的发展。摄像机拍摄的视频质量对计算机视觉技术的研究有着重要影响。例如，摄像机拍摄的视频质量对视觉同步定位与映射(visual simultaneous localization and mapping，简称vSLAM)以及视觉里程计(Visual Odometry，简称VO)的定位、导航以及三维建图有着重要影响。

摄像机拍摄的视频是由一序列静止的图像组成，这些静止的图像称为图像帧。而视频的帧率就是以帧为单位的位图图像连续出现在显示器上的频率或速率。摄像机采集图像的帧率影响着视频的质量，例如摄像机采集图像的帧率过低，会使视频不流畅，使视频前后帧不连贯。传统的方法中，通过调节摄像机的性能，可以提高摄像机的帧率，从而提高视频的质量。也可以通过单幅帧图像或前后两帧图像，生成中间帧图像来提高视频的帧率，但是，现有的基于单幅或多幅图像生成中间图像帧的方法，其合成的视频失真严重，稳定性差。

发明内容

本公开的主要目的是提供一种生成视频的方法，装置，存储介质及电子设备，用以解决现有技术中存在的问题。

为了实现上述目的，根据本公开实施例的第一方面，提供一种生成视频的方法，所述方法包括：

将源视图的三原色图像输入深度及语义网络，得到所述深度及语义网络输出的深度图以及语义图；

将所述语义图以及所述三原色图像输入特征编码器网络，得到所述特征编码器网络输出的特征图；

针对所述源视图的多个连续的位姿变换矩阵中的每一位姿变换矩阵，根据该位姿变换矩阵与所述深度图，对所述语义图和所述特征图分别进行变换，得到对应于每一所述位姿变换矩阵的目标语义图和目标特征图，所述多个连续的位姿变换矩阵是所述源视图相对于多个连续的图像帧的分别的位姿变换矩阵；

根据对应于每一所述位姿变换矩阵的目标语义图和目标特征图，分别生成图像帧，得到多个连续的图像帧，其中，每一所述图像帧和所述源视图是同一对象不同视角的图像；

将所述多个连续的图像帧合成为视频。

可选地，所述针对所述源视图的多个连续的位姿变换矩阵中的每一位姿变换矩阵，根据该位姿变换矩阵与所述深度图，对所述语义图和所述特征图分别进行变换，包括：

分别针对所述特征图以及所述语义图中的每一像素通过如下公式计算该像素在第一图像帧中的坐标：

[p_t]＝dK[R|t]K^-1[p_s]

[R|t]＝[R_s|t_s]^-1[R_t|t_t]