[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：对待处理图像进行属性分析，得到所述待处理图像的场景属性信息；根据所述场景属性信息进行渲染处理，得到渲染图像；根据所述待处理图像及所述渲染图像，对所述场景属性信息进行优化，得到优化后的场景属性信息。本公开实施例可提高待处理图像的场景属性信息的精度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

逆向绘制与正向绘制不同，逆向绘制从图像出发，旨在估计图像场景中的基本元素，在游戏和增强现实(AR，Augmented Reality)等图形学和视觉领域普遍存在逆向绘制应用。

发明内容

本公开提出了一种用于进行图像处理的技术方案。

根据本公开的一方面，提供了一种图像处理方法，包括：

对待处理图像进行属性分析，得到所述待处理图像的场景属性信息；

根据所述场景属性信息进行渲染处理，得到渲染图像；

根据所述待处理图像及所述渲染图像，对所述场景属性信息进行优化，得到优化后的场景属性信息。

在一种可能的实现方式中，所述根据所述待处理图像及所述渲染图像，对所述场景属性信息进行优化，得到优化后的场景属性信息，包括：

确定所述待处理图像与所述渲染图像的差异；

在所述差异大于差异阈值时，对所述场景属性信息进行优化，并根据优化后的场景属性信息进行渲染处理，直至优化后的场景属性信息进行渲染处理得到的渲染图像，与所述待处理图像的差异小于或等于差异阈值。

在一种可能的实现方式中，所述场景属性信息包括场景法线信息、反射率信息、及光场信息中的至少一项。

在一种可能的实现方式中，所述对待处理图像进行属性分析，得到所述待处理图像的场景属性信息，包括：

将所述待处理图像输入场景属性估计网络进行属性分析，得到所述待处理图像的场景属性信息。

在一种可能的实现方式中，所述场景属性估计网络包括第一估计网络，所述第一估计网络包括第一特征提取编码器、第一解码器及第二解码器，所述将所述待处理图像输入场景属性估计网络进行属性分析，得到所述待处理图像的场景属性信息，包括：

将所述待处理图像输入所述第一特征编码器中进行特征提取，得到第一图像特征；

通过所述第一解码器对所述第一图像特征进行属性分析，得到所述待处理图像的反射率信息，及通过所述第二解码器对所述第一图像特征进行属性分析，得到所述待处理图像的光场信息。

在一种可能的实现方式中，所述场景属性估计网络包括第二估计网络，所述第二估计网络包括第二特征提取编码器及第三解码器，所述将所述待处理图像输入场景属性估计网络进行属性分析，得到所述待处理图像的场景属性信息，包括：

将所述待处理图像输入所述第二特征编码器中进行特征提取，得到第二图像特征；

通过所述第三解码器对所述第二图像特征进行属性分析，得到所述待处理图像的场景法线信息。

在一种可能的实现方式中，所述方法还包括：

根据预设的训练集训练所述场景属性估计网络，所述训练集中包括多个样本图像，所述样本图像具有预标注的场景属性信息，其中，所述样本图像为根据所述预标注的场景属性信息进行渲染操作得到的。

在一种可能的实现方式中，所述方法还包括：

从优化后的场景属性信息中确定至少一项第一场景属性信息；