[发明专利]用于超分辨率渲染的方法和装置

说明书

本公开涉及用于超分辨率渲染的方法和装置。公开了用于超分辨率渲染的方法、装置、系统和制品。示例装置包括：数据处理器，用于基于颜色帧来生成多样本控制面(MCS)帧；特征提取器，用于从颜色帧、深度帧和MCS帧中获得特征；网络控制器，用于基于特征来生成空间数据和时间数据；以及重建器，用于基于特征、空间数据和时间数据来生成高分辨率图像。

相关申请

本专利要求于2020年11月19日提交的美国临时专利申请第63/116,035号的权益。美国临时专利申请第63/116,035号在此通过引用被整体并入本文。在此要求美国临时专利申请第63/116,035号的优先权。

技术领域

本公开总地涉及帧渲染，并且更具体地，涉及用于超分辨率渲染的方法和装置。

发明内容

根据本公开的实施例，提供了一种装置，包括：数据处理器，用于基于颜色帧来生成多样本控制面(MCS)帧；特征提取器，用于从所述颜色帧、深度帧和所述MCS帧中获得特征；网络控制器，用于基于所述特征来生成空间数据和时间数据；和重建器，用于基于所述特征、所述空间数据和所述时间数据来生成高分辨率图像。

根据本公开的实施例，提供了一种装置，包括：至少一个存储器；指令；和至少一个处理器，用于执行所述指令以：基于颜色帧来生成多样本控制面(MCS)帧；从所述颜色帧、深度帧和所述MCS帧中获得特征；基于所述特征来生成空间数据和时间数据；和基于所述特征、所述空间数据和所述时间数据来生成高分辨率图像。

根据本公开的实施例，提供了一种方法，包括：通过用处理器执行指令，基于颜色帧来生成多样本控制面(MCS)帧；通过用所述处理器执行指令，从所述颜色帧、深度帧和所述MCS帧获得特征；通过用所述处理器执行指令，基于所述特征来生成空间数据和时间数据；和通过用所述处理器执行指令，基于所述特征、所述空间数据和所述时间数据来生成高分辨率图像。

根据本公开的实施例，提供了一种包括代码的机器可读介质，所述代码当被执行时使得机器执行如上所述的方法。

背景技术

超分辨率可以应用于图像以降低计算成本。例如，帧被以较低的分辨率渲染并被上采样到目标分辨率。

附图说明

图1A是示例客户端渲染环境的示意图。

图1B是示例云渲染环境的示意图。

图2是表示图1A至图1B的示例渲染环境的示例超分辨率控制器的框图。

图3是示例超分辨率架构的框图，该示例超分辨率架构可用于实现图1A、图1B和图2的超分辨率控制器。

图4是示例光栅化系统，其可用于实现图2的数据处理器。

图5示出了示例帧。

图6示出了示例框架的图2和/或图3的比较运行时间分析的结果。

图7示出了示例框架的图2和/或图3的比较质量分析的结果。

图8示出了图2和/或图3的网络消融分析的结果。

图9是表示示例机器可读指令的流程图，这些示例机器可读指令可以由示例处理器电路执行以实现图1至图3的示例超分辨率控制器以进行超分辨率渲染。

图10是表示示例机器可读指令的流程图，这些示例机器可读指令可以由示例处理器电路执行以实现图2的示例数据处理器以生成帧集。

图11是表示示例机器可读指令的流程图，这些示例机器可读指令可以由示例处理器电路执行以实现图2和/或图3的示例特征提取器以从输入帧集中提取特征。