[发明专利]一种基于图像超分辨率的移动AR应用上传能耗优化方法

权利要求书

1.一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，包括以下步骤：

1）对于输入的视频提取其描述视频时空复杂性的特征；

2）使用多媒体视频处理工具ffmpeg实现在视频中插入或替换一帧的功能，对于步骤1）输入的每一个视频按照一定的间隔插入高清的视频帧，视频的间隔选择（1，3，5，7，9，11，13，15），并分别计算这些视频与原始高清视频的峰值信噪比PSNR；

4）选择合适的还原间隔作为标签，选择步骤1）中提取到的时空复杂度作为特征来训练机器学习的模型，用于预测还原中替换帧的间隔；

5）设计服务器端视频还原的解决方案，将步骤4采集到的训练数据作为优化模型的输入值，为建立一个通用模型，对不同用户的数据计算平均值后作为训练数据，使用python设置的参数后进行利用数据集按照5:1的比例交叉训练并生成分类器，根据预测结果，网络延迟以及带宽计算还原间隔，从而调整视频上传。

2.根据权利要求1所述的一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，步骤1）中所使用的数据集来源于vimeo和Pexels视频网站，考虑到视频的时空复杂度信息，共选择了289个不同类型的视频用于实验，将这些视频经过统一的处理得到统一时长3秒，帧率30和分辨率1280*720的原始高清视频，使用downsample下采样方法获取到320*180的视频作为低分辨率原始视频，对320*180的原始视频进行特征提取，时空复杂度使用ITU-R BT.1788建议使用的时间信息（TI，Temporal perceptual Information，也可以称时间复杂度）和空间信息（SI，Spatial perceptual Information，也可以称空间复杂度）来衡量视频的特性。

3.根据权利要求1所述的一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，步骤2）中所述的视频帧的插入与替换是ffmpeg来实现的，主要是通过将需要处理的视频帧在预编码中将其调整为I帧，然后将该帧对应的高清图片编码到视频中替换原来的帧，这里使用的高清图片是通过EDVR超分辨率技术获得的。

4.根据权利要求1所述的一种基于图像超分辨率的移动AR应用上传能耗优化方法，其特征在于，步骤3）所述的不同的还原间隔是为了得到不同视频对应的最优还原间隔，是作为机器学习中的标签的特征，选择方法为：通过对不同用户的数据采集，选择出用户能接受的最低PSNR视频所对应的还原间隔作为该类视频在还原过程中所采用的策略。