[发明专利]图像生成方法及装置、存储介质和电子设备

权利要求书

1.一种图像生成方法，其特征在于，包括：

获取与待生成图像对应的相机位姿，根据所述相机位姿确定与所述待生成图像中各像素点对应的射线；

针对每条所述射线上的采样点，根据所述采样点的位置信息确定所述采样点的特征信息，所述特征信息根据输入图像上与所述采样点的位置信息对应的像素点的融合特征信息确定出，所述融合特征信息包括色彩特征信息和深度特征信息；

根据所述采样点的位置信息和特征信息，确定所述采样点的色彩信息和密度信息；

利用所述射线上各采样点的色彩信息和密度信息，确定所述待生成图像中与所述射线对应的像素点的色彩信息，以生成所述待生成图像。

2.根据权利要求1所述的图像生成方法，其特征在于，所述图像生成方法还包括：

获取所述输入图像；

确定所述输入图像的色彩特征信息和深度特征信息；

将所述输入图像的色彩特征信息与深度特征信息融合，以得到融合特征信息。

3.根据权利要求2所述的图像生成方法，其特征在于，确定所述输入图像的深度特征信息包括：

确定所述输入图像的稠密深度图；

对所述稠密深度图进行深度特征提取操作，以得到所述输入图像的深度特征信息。

4.根据权利要求3所述的图像生成方法，其特征在于，确定所述输入图像的稠密深度图包括：

对所述输入图像进行稀疏深度估计，以得到所述输入图像的稀疏深度图；

对所述稀疏深度图进行稠密深度估计，以得到所述输入图像的稠密深度图。

5.根据权利要求1所述的图像生成方法，其特征在于，根据所述采样点的位置信息确定所述采样点的特征信息包括：

将所述采样点的三维位置信息转换为二维位置信息；

如果所述采样点的二维位置信息为所述输入图像上目标像素点的位置信息，则将所述目标像素点的融合特征信息确定为所述采样点的特征信息；

如果所述采样点的二维位置信息与所述输入图像上所有像素点的位置信息均不同，则确定所述输入图像上与所述采样点的二维位置信息邻近的像素点，对与所述采样点的二维位置信息邻近的像素点的融合特征信息进行插值处理，以得到所述采样点的特征信息。

6.根据权利要求1所述的图像生成方法，其特征在于，根据所述采样点的位置信息和特征信息，确定所述采样点的色彩信息和密度信息，包括：

将所述采样点的位置信息和特征信息输入全连接网络，通过所述全连接网络的预测过程确定出所述采样点的色彩信息和密度信息。

7.根据权利要求1所述的图像生成方法，其特征在于，利用所述射线上各采样点的色彩信息和密度信息，确定所述待生成图像中与所述射线对应的像素点的色彩信息，包括：

以所述射线上各采样点的密度信息作为权重，对相应的色彩信息进行积分操作，以确定出所述待生成图像中与所述射线对应的像素点的色彩信息。

8.一种图像生成装置，其特征在于，包括：

射线确定模块，用于获取与待生成图像对应的相机位姿，根据所述相机位姿确定与所述待生成图像中各像素点对应的射线；

特征确定模块，用于针对每条所述射线上的采样点，根据所述采样点的位置信息确定所述采样点的特征信息，所述特征信息根据输入图像上与所述采样点的位置信息对应的像素点的融合特征信息确定出，所述融合特征信息包括色彩特征信息和深度特征信息；

信息确定模块，用于根据所述采样点的位置信息和特征信息，确定所述采样点的色彩信息和密度信息；

图像生成模块，用于利用所述射线上各采样点的色彩信息和密度信息，确定所述待生成图像中与所述射线对应的像素点的色彩信息，以生成所述待生成图像。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的图像生成方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器被配置为经由执行所述可执行指令来实现权利要求1至7中任一项所述的图像生成方法。