[发明专利]一种面向异构平台的高能效图像超分辨率系统及其方法

说明书

一种面向异构平台的高能效图像超分辨率系统，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；其方法包括以下步骤：将一组超分辨率模型按照不同参数进行压缩，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，获得模型推理时间和经过超分辨率处理后的图像质量；进一步训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，选择PSNR和延迟最优的超分辨率模型，将其部署到对应设备中；预测当前任务推理时间和PSNR值，选择满足时延需求且能提供最高PSNR的模型，将任务调度到该模型中进行超分辨率处理；具有提供低延迟和高质量的图像处理服务的特点。

技术领域

本发明属于普适计算、移动计算以及计算机视觉技术领域，具体涉及一种面向异构平台的高能效图像超分辨率系统及其方法。

背景技术

卷积神经网络(CNNs)的快速发展使其在超分辨率(SR)计算机视觉任务中的性能得到了显著提高。超分辨率网络能够处理低分辨率图像，并产生分辨率显著提高的输出。这一特性使得由卷积神经网络驱动的超分辨率成为在移动和家庭设备(包括移动电话、电子相框和电视)上构建新应用程序的可行技术。尽管它的性能良好，最先进的超分辨率网络还是带来了重大的部署挑战。为了提高低分辨率的图像，超分辨率模型经常在它们的层之间传播大空间维度的特征映射，导致过多的操作次数和运行时的存储需求。目前，为了缓解这种计算障碍，服务提供商通常会采用云计算解决方案。在这种设置下，应用程序收集帧并将它们传输到基础服务器，在基础服务器中，强大的服务器级机器执行超分辨率。然而，在延迟和隐私敏感的应用中，云计算的高响应时间和安全风险是不能被容忍的。此外，对持续的网络连接的需求、云交换数据的电力消耗开销以及托管数据中心的成本也是对其应用的阻碍。因此，需要开发一些方法和系统，通过使用本地设备处理执行超分辨率网络，来减轻基于云计算的限制。

然而，由于超分辨率网络在计算上非常昂贵，使用设备上的资源实现30帧/秒的图像分辨率是不切实际的。例如，像像素为3的移动数码相机，它能够捕捉和传输极高分辨率的图像，通过本地运行超分辨率网络来实现这样的实时分辨率在目前是不现实的。因此，移动设备上超分辨率常见的现实应用，比如变焦，都是以图像为中心，而不是以视频为中心。移动超分辨率的另一个实际应用涉及到保存数据。流行的社交媒体网络，如Facebook、推特、ins、微博，以及消息应用，如微信、QQ，都是大量使用图片的应用，用户在滚动页面查看内容或发送信息时，会不断使用数据。考虑到像Facebook Lite这样的数据保存替代品的流行，使得设备能够下载用户的所浏览的内容和消息的低分辨率图片，并在本地提高这些图片分辨率的功能不仅可行，而且很受欢迎。此外，将加载浏览的图片所需的网络带宽降至最低，可以让应用程序在恶劣的网络条件下更具响应能力，并在云连通性较差的地区运行。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供一种面向异构平台的高能效图像超分辨率系统及其方法，具有为用户提供低延迟和高质量（达到图像质量和处理速度均衡）的图像处理服务的特点。

为实现上述目的，本发明采用的技术方案是：一种面向异构平台的高能效图像超分辨率系统，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；

所述的超分辨率模型压缩模块用于减小当前过于庞大的超分辨率模型的规模，提高效率；

所述的图片质量评估模块通过图像的性能指标对图像质量做出评估；

所述的设备性能评估模块，通过图像训练集在不同设备、不同模型上的推理时间对设备做出评估；

所述的剪枝模块将图片质量评估器输出的经过超分辨率处理后的图像质量和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，并基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中；