[发明专利]图像生成方法及装置、存储介质和电子设备

说明书

本公开提供了一种图像生成方法、图像生成装置、存储介质和电子设备，涉及图像处理技术领域。该图像生成方法包括：获取与待生成图像对应的相机位姿，根据相机位姿确定与待生成图像中各像素点对应的射线；针对每条射线上的采样点，根据采样点的位置信息确定采样点的特征信息，特征信息根据输入图像上与采样点的位置信息对应的像素点的融合特征信息确定出，融合特征信息包括色彩特征信息和深度特征信息；根据采样点的位置信息和特征信息，确定采样点的色彩信息和密度信息；利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，以生成待生成图像。本公开可以提升生成新视角图像的效果。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像生成方法、图像生成装置、存储介质和电子设备。

背景技术

三维重建和新视角图像渲染一直是计算机图形学领域的核心，也是近年来研究的重点。随着数字孪生、全息通讯和元宇宙等新概念的提出，工业界也对三维重建和新视角图像渲染的需求逐渐增加。

目前，新视角图像生成的方案中，普遍存在新视角图像渲染效果差的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像生成方法、图像生成装置、存储介质和电子设备，进而至少在一定程度上克服新视角图像渲染效果差的问题。

根据本公开的第一方面，提供了一种图像生成方法，包括：获取与待生成图像对应的相机位姿，根据相机位姿确定与待生成图像中各像素点对应的射线；针对每条射线上的采样点，根据采样点的位置信息确定采样点的特征信息，特征信息根据输入图像上与采样点的位置信息对应的像素点的融合特征信息确定出，融合特征信息包括色彩特征信息和深度特征信息；根据采样点的位置信息和特征信息，确定采样点的色彩信息和密度信息；利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，以生成待生成图像。

可选地，图像生成方法还包括：获取输入图像；确定输入图像的色彩特征信息和深度特征信息；将输入图像的色彩特征信息与深度特征信息融合，以得到融合特征信息。

可选地，确定输入图像的深度特征信息包括：确定输入图像的稠密深度图；对稠密深度图进行深度特征提取操作，以得到输入图像的深度特征信息。

可选地，确定输入图像的稠密深度图包括：对输入图像进行稀疏深度估计，以得到输入图像的稀疏深度图；对稀疏深度图进行稠密深度估计，以得到输入图像的稠密深度图。

可选地，根据采样点的位置信息确定采样点的特征信息包括：将采样点的三维位置信息转换为二维位置信息；如果采样点的二维位置信息为输入图像上目标像素点的位置信息，则将目标像素点的融合特征信息确定为采样点的特征信息；如果采样点的二维位置信息与输入图像上所有像素点的位置信息均不同，则确定输入图像上与采样点的二维位置信息邻近的像素点，对与采样点的二维位置信息邻近的像素点的融合特征信息进行插值处理，以得到采样点的特征信息。

可选地，根据采样点的位置信息和特征信息，确定采样点的色彩信息和密度信息，包括：将采样点的位置信息和特征信息输入全连接网络，通过全连接网络的预测过程确定出采样点的色彩信息和密度信息。

可选地，利用射线上各采样点的色彩信息和密度信息，确定待生成图像中与射线对应的像素点的色彩信息，包括：以射线上各采样点的密度信息作为权重，对相应的色彩信息进行积分操作，以确定出待生成图像中与射线对应的像素点的色彩信息。