[发明专利]一种基于神经网络的实时能耗优化绘制方法和装置

说明书

本发明公开了一种基于神经网络的实时能耗优化绘制方法和装置，包括：获取绘制相关数据集，包括GPU能耗，GPU能耗相关的绘制参数与数据，图像质量相关的绘制参数与数据；根据绘制相关数据集，基于神经网络构建能耗预测模型和误差预测模型，利用能耗预测模型和误差预测模型对绘制参数进行基于GPU能耗预算阈值的能耗筛选和基于图像误差预算阈值的误差筛选，以确定即将选用的最佳绘制参数，然后利用最佳绘制参数进行三维场景的实时绘制。这样在尽可能保证图像质量的同时显著降低绘制过程中的能耗需求，延长电池的使用时间。

技术领域

本发明属于实时绘制领域，尤其涉及一种基于神经网络的实时能耗优化绘制方法和装置。

背景技术

绘制是将三维几何模型转换成二维图像的一个过程。对一个三维动画场景的绘制是一项十分费时的过程，因为一个动画一般都是由成千上万帧图像构成。随着人们对视觉效果的要求提高，每一帧图像的分辨率也越来越高，附加的视觉特效也越来越多，绘制一帧图像所需的计算资源也迅速增加。

随着现代图形硬件加速技术的不断进步，图形处理单元(GPU)的高速发展极大地提高了计算机图形处理的速度和质量，并促进了计算机图形相关应用领域的快速发展。与此同时，GPU绘制流水线的高速度和并行性，为计算机动画的实时绘制提供了良好的硬件平台。

近年来随着GPU在电池供电的移动设备上的普及，大量需要实时绘制技术的移动应用程序应运而生，如手机游戏、虚拟现实、增强现实等。运行这些应用程序所需的图形计算资源会迅速消耗掉有限的电池电量，不仅会对电池寿命产生显著影响，还会大大缩短移动设备的使用时长，降低用户体验。

在这样的背景下，能够在给定能耗预算的条件下进行实时绘制已成为一项具有实际意义的需求。降低绘制相关应用程序的能耗需求是计算机图形学领域未来的挑战之一。在降低运行在电池供电设备上的图形应用程序能耗需求的策略中，减少图形绘制流水线的计算量被证明是一个行之有效的解决方案。然而，多数已有方案的应用范围有限，通常只适用于某个具体的图形应用程序，或存在某些方面的缺陷。

另外，现有的方法大多数是基于具体的图形流水线设计和配套的硬件实现来达到优化资源并降低能耗的目的。由于这些方法通过底层硬件实现，需要改变现有设备的硬件结构，存在成本高、通用性低等特点。

最近，虽有Zhang等在《On-the-Fly Power-Aware Rendering》中提出了有效的基于能耗-误差预测及预算的能耗优化解决方案和公告号为CN109191555B的发明专利公开的一种基于能耗-误差预测及预算的实时绘制方法，但其仍存在诸多问题：当GPU工作频率发生较大变化时其能耗预测结果不够准确、需在绘制时测量GPU的实时功率、无法实现逐帧能耗优化、预测图像误差所需的资源开销较大等。

发明内容

针对现有技术的不足，本发明提出了一种基于神经网络的实时能耗优化绘制方法和装置，在满足能耗预算或误差预算条件下寻找最佳的绘制参数，在尽可能保证图像质量的同时显著降低绘制过程中的能耗需求，延长了电池的使用时间。

本发明的技术方案为：

第一方面，一种基于神经网络的实时能耗优化绘制方法，包括以下步骤：

将GPU能耗相关的绘制参数与数据输入至基于神经网络构建的能耗预测模型，经计算输出待绘制三维场景采用各种绘制参数时对应的GPU的能耗预测值，并根据给定的能耗预算阈值，筛选保留小于或等于能耗预算阈值的能耗预测值对应的绘制参数，实现能耗筛选；

将图像质量相关的绘制参数与数据输入至基于神经网络构建的误差预测模型，经计算输出待绘制三维场景采用能耗筛选保留的各绘制参数时对应的图像误差预测值，并从中选择最小图像误差预测值对应的绘制参数作为即将选用的最佳绘制参数，实现误差筛选；

实时绘制时，选用最佳绘制参数对待绘制三维场景进行实时绘制。