[发明专利]一种面向异构平台的高能效图像超分辨率系统及其方法

权利要求书

1.一种面向异构平台的高能效图像超分辨率系统，其特征在于，包括有超分辨率模型压缩模块、图片质量评估模块、设备性能评估模块、剪枝模块以及超分辨率任务调度模块；

所述的超分辨率模型压缩模块用于减小当前过于庞大的超分辨率模型的规模，提高效率；

所述的图片质量评估模块通过图像的性能指标对图像质量做出评估；

所述的设备性能评估模块，通过图像训练集在不同设备、不同模型上的推理时间对设备做出评估；

所述的剪枝模块将图片质量评估器输出的经过超分辨率处理后的图像质量和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，并基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中；

所述的超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。

2.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的超分辨率模型压缩模块，该模块为减小当前过于庞大的超分辨率模型的规模，以提高效率，在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备。

3.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的图片质量评估模块，在图像训练数据集分别输入到压缩后的模型中后，训练图像训练数据集，并对压缩后的模型进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图像训练数据集经过超分辨率处理后的图像质量，该模块输入的验证集用于之后测试模型性能。

4.根据权利要求1所述一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的设备性能评估模块，在图像训练数据集分别输入到压缩后的模型中后，在不同设备上多次训练图像数据训练集，并对压缩后的模型进行评估，输出在不同设备下，图像训练数据集在不同模型下的推理时间。

5.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的剪枝模块，将输出模型的图像质量以及输出模型的推理时间作为剪枝的参考标准，训练不同压缩参数下的当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中。

6.根据权利要求1所述的一种面向异构平台的高能效图像超分辨率系统，其特征在于，所述的超分辨率任务调度模块，在基于设备的性能完成不同计算平台上超分辨率模型的部署之后，输入低清图像任务，通过图片质量评估器获取图像任务的图片质量，通过设备性能评估器获取图像任务的推理时间，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求，选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。

7.利用权利要求1所述的一种面向异构平台的高能效图像超分辨率系统进行超分辨率处理的方法，其特征在于，包括以下步骤：

步骤1，超分辨率模型压缩模块在超分辨率网络上应用一组转换，将一组超分辨率模型按照不同参数进行压缩后，获得一组压缩后的超分辨率模型，将图像训练数据集分别输入压缩后的模型中，为下一步做准备；

步骤2，接着将图像训练集和模型压缩变体分别输入到图片质量评估模块和设备性能评估模块进行评估；

步骤3，图片质量评估模块对输入的图像训练数据集和模型压缩变体进行评估，评估标准是常见的图片性能评估指标峰值信噪比PSNR，输出图片训练数据集在不同模型下经过超分辨率处理后的图像质量；

步骤4，设备性能评估模块对输入的图像训练数据集和模型压缩变体在不同的设备上多次训练，进行评估，输出在不同设备上图像训练集在不同模型下的推理时间；

步骤5，执行剪枝模块，将图片质量评估器输出的经过超分辨率处理后的图像质量和设备性能评估器输出的推理时间作为输入，以PSNR和推理时间作为评判标准，训练不同压缩参数下的当前推理任务图像质量评估模型和不同设备中的推理任务时延预测模型，基于帕累托最优原则选择PSNR和延迟最优的超分辨率模型，并将其部署到对应设备中，已筛选出高效的模型及其对应的设备完成模型部署，接着执行超分辨率任务调度模块，在基于设备性能完成不同计算平台上超分辨率模型部署之后，输入图像任务，系统根据当前任务复杂度，预测当前任务测推理时间和PSNR值，并基于用户对推理时延的需求选择满足时延需求且能提供最高PSNR的模型，最后将任务调度到该模型中进行超分辨率处理。