[发明专利]图像处理和重构图像生成的方法和装置

说明书

一种处理器实现的方法包括：使用基于神经网络的一个或多个提取模型，基于包括对象的输入图像数据来确定规范空间中的反照率数据和规范空间中的深度数据；通过将目标形状变形值分别应用于反照率数据和深度数据来生成变形的反照率数据和变形的深度数据；通过基于变形的深度数据和目标照度值执行着色来生成结果着色数据；基于结果着色数据和变形的反照率数据来生成中间图像数据；以及基于目标姿态值根据中间图像数据和变形的深度数据来生成重构的图像数据。

相关申请的交叉引用

本申请要求于2021年3月8日在韩国知识产权局递交的韩国专利申请No.10-2021-0030200的优先权，其全部公开通过引用并入本文以用于所有目的。

技术领域

以下描述涉及图像处理和重构图像生成的方法和装置。

背景技术

电子设备可以实现虚拟现实(VR)、增强现实(AR)或混合现实(MR)。AR是指将虚拟对象或信息与现实世界环境相组合并显示该组合的显示技术。AR可以是通过外部视图和虚拟图像的组合向用户提供新体验并以更有效且沉浸式的方式提供信息的方法。

发明内容

提供本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。

在一个总体方面，一种处理器实现的方法包括：使用基于神经网络的一个或多个提取模型，基于包括对象的输入图像数据来确定规范空间中的反照率数据和规范空间中的深度数据；通过将目标形状变形值分别应用于反照率数据和深度数据来生成变形的反照率数据和变形的深度数据；通过基于变形的深度数据和目标照度值执行着色来生成结果着色数据；基于结果着色数据和变形的反照率数据来生成中间图像数据；以及基于目标姿态值根据中间图像数据和变形的深度数据来生成重构的图像数据。

确定反照率数据和深度数据可以包括：使用基于神经网络的反照率提取模型根据输入图像数据来确定规范空间中的反照率数据；以及使用基于神经网络的深度提取模型根据输入图像数据来确定规范空间中的深度数据。

规范空间中的反照率数据可以与当对象被变形为作为参考的规范形状时的反照率数据相对应，并且规范空间中的深度数据可以与对象被变形为规范形状时的深度数据相对应。

生成变形的反照率数据和变形的深度数据可以包括：基于目标形状变形值对反照率数据和深度数据中的每一个执行向后扭曲操作。

生成结果着色数据可以包括：从变形的深度数据中提取对象的表面法线元素；以及通过基于提取的表面法线元素和目标照度值执行着色来生成结果着色数据。

生成结果着色数据可以包括：使用二阶球谐函数执行着色。

生成重构的图像数据可以包括：通过基于目标姿态值对中间图像数据和变形的深度数据中的每一个中的对象的姿态进行变形，并且将对象的姿态被变形的中间图像数据和对象的姿态被变形的深度数据进行组合，来生成重构的图像数据。

目标形状变形值、目标照度值和目标姿态值可以是从与输入图像数据不同的另一输入图像数据中提取的值，并且所述另一输入图像数据中的对象可以与输入图像数据中的对象相同。

目标形状变形值、目标照度值和目标姿态值可以是从另一图像数据中提取的值，所述另一图像数据包括与输入图像数据中的对象不同的对象。

目标形状变形值、目标照度值和目标姿态值可以是使用除基于神经网络的一个或多个提取模型之外的基于神经网络的提取模型从另一输入图像数据中提取的值。

可以从另一图像数据中提取目标形状变形值、目标照度值和目标姿态值，并且可以通过基于重构的图像数据和所述另一图像数据更新一个或多个提取模型的参数来训练一个或多个提取模型。