[发明专利]用于光估计的方法与装置

说明书

一种处理器实现的用于光估计的方法包括：使用光估计模型估计与输入图像相对应的光信息；检测所述输入图像中的参考对象；确定所述参考对象的对象信息和支撑所述参考对象的参考平面的平面信息；基于所述光信息、所述对象信息和所述平面信息渲染与所述参考对象相对应的虚拟对象；以及基于将所述参考对象与所渲染的虚拟对象相比较的结果更新所述光估计模型，来训练所述光估计模型。

相关申请的交叉引用

本申请要求于2021年7月13日在韩国知识产权局递交的韩国专利申请No.10-2021-0091604的优先权，其全部公开内容通过引用合并于此以用于所有目的。

技术领域

以下描述涉及一种光估计方法和装置。

背景技术

光估计可以是用于估计照亮场景的光的技术。估计出的光信息可以用于在相应的图像或空间中渲染虚拟对象。例如，估计出的光信息可以应用于在增强现实(AR)或计算机图形(CG)中的虚拟对象。光信息估计得越准确，虚拟对象就越逼真。可以将基于机器学习的模型用于光估计。可以使用诸如环境光、阴影、镜面高光和反射之类的线索来训练该模型。

发明内容

提供本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。

在一个总体方面，一种处理器实现的用于光估计的方法包括：使用光估计模型估计与输入图像相对应的光信息；检测输入图像中的参考对象；确定参考对象的对象信息和支撑参考对象的参考平面的平面信息；基于光信息、对象信息和平面信息渲染与参考对象相对应的虚拟对象；以及基于将参考对象与所渲染的虚拟对象相比较的结果更新光估计模型，来训练光估计模型。

渲染可以包括渲染虚拟对象的着色和虚拟对象的阴影。

比较的结果可以包括：将表示参考对象的着色和参考对象的阴影的像素数据与表示虚拟对象的着色和虚拟对象的阴影的像素数据相比较的结果。

对象信息可以包括参考对象的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合，平面信息可以包括参考平面的姿态、形状、材质中的任何一个或其任何两个或更多个的任何组合。

确定可以包括：响应于参考对象被确定为已知对象，使用对象数据库确定对象信息的至少一部分。

确定可以包括：响应于参考对象和参考平面被确定为已知的组合结构，使用对象数据库确定对象信息和平面信息的至少一部分。

可以将与参考对象相对应的球形部分结构和与参考平面相对应的平坦部分结构相组合，以形成组合结构。

确定可以包括：响应于参考平面被确定为未知平面，通过检测输入图像中的参考平面确定平面信息。

确定可以包括：响应于参考对象被确定为未知对象，基于预定代理对象的信息确定对象信息。

渲染可以包括：通过将参考平面的每个采样点的光信息和可见性信息相融合来确定每个采样点的阴影信息；以及通过将参考平面的每个采样点的阴影信息投影到输入图像的捕获视图，来渲染虚拟对象的阴影。

响应于参考对象和参考平面被确定为已知的组合结构，可以预先确定可见性信息以渲染组合结构的阴影。

更新可以包括：更新光估计模型以减小参考对象和虚拟对象之间的差异。

该方法可以包括：获取另一图像；以及使用经训练的光估计模型估计与另一图像相对应的光信息。

在另一个总体方面，一个或多个实施例包括一种存储指令的非暂时性计算机可读存储介质，当由一个或多个处理器执行时，该指令将一个或多个处理器配置为执行在此描述的操作和方法中的任何一个、任何组合或全部。