[发明专利]图像渲染方法和设备在审
申请号: | 202210298095.4 | 申请日: | 2022-03-24 |
公开(公告)号: | CN115205438A | 公开(公告)日: | 2022-10-18 |
发明(设计)人: | A.J.比戈斯 | 申请(专利权)人: | 索尼互动娱乐股份有限公司 |
主分类号: | G06T15/20 | 分类号: | G06T15/20;G06T15/06;G06T15/50;G06T15/00;G06N3/04;G06N3/08 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 张晓明 |
地址: | 日本*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 渲染 方法 设备 | ||
1.一种用于虚拟场景的图像渲染方法,包括以下步骤:
针对多个ID,
生成识别与相应ID相关联的场景的元素的相应遮罩;
针对得到的多个遮罩,
将相应的遮罩分割成多个图块;以及
丢弃不识别任何图像元素的图块;
针对产生的多个剩余图块,
从多个机器学习模型中选择相应的经过训练的机器学习模型,所述相应的机器学习模型已经经过训练以基于所述场景的元素生成有助于渲染图像的至少一部分的数据,所述场景的元素与从中分割出各个图块的所述遮罩中识别的所述元素的相同的相应ID相关联;以及
使用所述相应的经过训练的机器学习模型,基于至少针对所述各个图块中的识别元素的输入数据,生成有助于渲染所述图像的至少一部分的数据。
2.根据权利要求1所述的图像渲染方法,其中:
根据处理硬件的能力选择所述图块的大小。
3.根据权利要求1所述的图像渲染方法,其中:
由多个相应的经过训练的机器学习模型并行处理批量的图块。
4.根据权利要求3所述的图像渲染方法,其中:
根据处理硬件的能力选择所述批量的大小。
5.根据权利要求1所述的图像渲染方法,其中:
所述相应的经过训练的机器学习模型基于从列表中选择的一种输入数据生成有助于渲染所述图像的至少一部分的数据,所述列表包括:
i)仅针对所述各个图块中的识别元素的输入数据;和
ii)针对所有各个图块的输入数据。
6.根据权利要求1所述的图像渲染方法,其中:
所述相应的训练过的机器学习模型是基于仅针对所述各个图块中的识别元素的输入数据、还是基于针对所有各个图块的输入数据来生成有助于渲染所述图像的至少一部分的数据取决于所述各个图块中识别元素是否符合占用率标准。
7.根据权利要求1所述的图像渲染方法,其中:
所生成的数据包括因子,当所述因子与表征光与虚拟环境的相应部分的相互作用的分布函数组合时,生成与包含所述虚拟环境的所述相应部分的渲染图像的像素对应的像素值。
8.根据权利要求7所述的图像渲染方法,其中
针对所述图像的多个贡献分量中的每一个训练相应的经过训练的机器学习系统;
针对所述图像的多个贡献分量中的每一个使用相应的分布函数;和
相应生成的像素值被组合起来以创建合并到所述渲染图像中的最终组合像素值以供显示。
9.根据权利要求7或权利要求8所述的图像渲染方法,其中
能够参考相应ID获得所述元素的材质特性;和
通过从以下列表中选择的一个获得与所述相应ID对应的至少第一相应的分布函数,所述列表包括:
i)从存储器中检索所述分布函数;和
ii)与使用至少第一相应的经过训练的机器学习模型来生成数据并行地计算所述分布函数。
10.根据权利要求1所述的图像渲染方法,其中:
所述相应的经过训练的机器学习系统是神经网络;
所述神经网络的第一部分的输入包括在所述虚拟环境中元素的位置;和
所述神经网络的第二部分的输入包括所述第一部分的输出、以及基于所述被渲染图像的所述至少一部分的视点的方向。
11.一种计算机程序,其包括适于使计算机系统执行权利要求1所述的方法的计算机可执行指令。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于索尼互动娱乐股份有限公司,未经索尼互动娱乐股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210298095.4/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序