[发明专利]一种基于图像超分辨率的移动AR应用上传能耗优化方法

说明书

一种基于图像超分辨率的移动AR应用上传能耗优化方法，该方法通过上传低分辨率视频，在服务器端根据采集到的视频复杂度信息，相隔一定的距离使用视频编码技术去插入高清视频帧，以达到减小上传视频体积的目的，从而减小上传能耗。本文使用图片超分辨率技术对需要替换的帧解码，然后进行超分辨率，最后再重新编码到视频流中；替换帧之间的距离使用SRD（super‑resolution distance）来命名，根据视频的复杂度特征使用神经网络建立一个通用模型用于预测SRD的具体值。

技术领域

本发明属于移动计算技术领域，具体涉及一种基于图像超分辨率的移动AR应用上传能耗优化方法。

背景技术

近年来，随着硬件平台的性能不断的提升，增强现实（AR）的应用也有着广阔的前景。随着苹果AR Kit和谷歌AR Core的发布，会有越来越多的开发者参与到移动AR应用的开发中来，支持AR功能的移动设备会进一步扩大内容生态。迄今为止，市场上已经出现了很多成熟的AR应用，如：医学建模、智慧城市以及文物展示等。中国市场AR/VR技术的相关投资预计将在2020年达到57.6亿美元，占比将超过全球市场份额的30%。

相对于普通的移动应用，移动AR应用的高能耗对于移动设备的电池来说是一个巨大的考验。视频的传输与渲染是该类应用主要的能耗来源，工业及学术界通常将渲染任务卸载到服务器端进行以降低对移动设备的能耗负担，但由于AR应用的实时性，高质量的用户体验需要传输海量的视频数据到服务器端进行处理，从而严重增加了移动设备的通讯开销。

在如今的移动AR应用中，无论是Vision based AR还是LBS based AR，为了节省移动设备能耗，都需要将移动设备端采集视频信息上传到服务器进行数字视频信息叠加渲染。随着硬件的迅速发展，人们日常所接触到的视频的分辨率变的越来越高，频繁地上传高质量的视频会导致电量过度消耗，这对于移动设备的续航是一个巨大的挑战。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种基于图像超分辨率的移动AR应用上传能耗优化方法，针对移动MAR应用中视频上传所涉及到的能效问题，选择上传低分辨率视频，然后在服务器端将部分帧输入到超分辨率模型高清还原，其余帧利用帧间相似性进行直接放大处理，从而达到降低上传延迟及能耗的目标。具体来说，在服务器端通过机器学习模型，构建预测还原帧模型，该模型用于选择视频高清还原中的需要还原的帧的间隔，从而保证高质量的用户观感。最终实现在降低上传开销的同时，不会额外增加服务器处理负担的目标。

为了实现上述目的，本发明采用的技术方案是：

一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，包括以下步骤：

1）对于输入的视频提取其描述视频时空复杂性的特征；

2）使用多媒体视频处理工具ffmpeg实现在视频中插入或替换一帧的功能，对于步骤1）输入的每一个视频按照一定的间隔插入高清的视频帧，视频的间隔选择（1，3，5，7，9，11，13，15），并分别计算这些视频与原始高清视频的峰值信噪比PSNR；

4）选择合适的还原间隔作为标签，选择步骤1）中提取到的时空复杂度作为特征来训练机器学习的模型，用于预测还原中替换帧的间隔；

5）设计服务器端视频还原的解决方案，将步骤4采集到的训练数据作为优化模型的输入值，为建立一个通用模型，对不同用户的数据计算平均值后作为训练数据，使用python设置的参数后进行利用数据集按照5:1的比例交叉训练并生成分类器，根据预测结果，网络延迟以及带宽计算还原间隔，从而调整视频上传。