[发明专利]引入尺度信息的任意倍视频超分辨率方法

说明书

本发明属于计算机视觉的超分辨率领域，为解决视频超分辨率任意倍放大的问题，实现小数倍放大。本发明：引入尺度信息的任意倍视频超分辨率方法，首先使用可变卷积在特征级别将相邻帧对齐；然后使用类注意力机制的方式融合逆向位置投影矩阵中每个元素向量所提取出的特征；最后将代表着连续的相邻帧和目标帧之间像素点移动的偏移量输入位置权重预测模块得到位置权重，将对齐模块输出的对齐特征输入特征权重预测模块得到特征权重。最后将两个权重对应相乘，即可得到上采样滤波核权重，将融合特征分别乘以上采样滤波核权重，实现任意倍的放大。本发明主要应用于视频超分辨率任意倍放大场合。

技术领域

本发明属于计算机视觉的超分辨率领域，涉及实现任意倍放大的方法。具体涉及引入尺度信息的任意倍视频超分辨率方法。

背景技术

视频超分辨率算法：将视频的分辨率扩大一定倍数的算法。视频超分辨通常输入2N+1(N＝1、2、3、……)帧图像，将欲恢复帧称为目标帧，为目标帧提供信息的帧称为相邻帧，视频超分辨率借助相邻帧之间的时序信息以及自身的空间信息恢复高分辨率帧。视频超分辨率算法的流程可以分为对齐、融合、重建、上采样四个部分。

视频超分辨率相比较于图像超分辨率的区别在于连续的视频帧之间具有较强的时空连续性。考虑到距离较近的视频帧之间存在空间上物体和场景的变化，对齐是指在利用多帧视频帧信息对齐错位的像素(或特征)，在像素级别或特征级别获得相邻帧和目标帧之间的差别，将相邻帧调整至近似目标帧；融合过程保留对齐后视频帧中对目标帧超分辨率有帮助的信息，将目标帧和对齐后的相邻帧作为输入，根据相邻帧与目标帧之间的时间信息以及目标帧的空间信息筛选和保留特征；重建是指对特征进行感受野放大、特征提取等操作，目的是提取图片的深层特征，在恢复高分辨率图像前充分利用已有信息；最后通过上采样将学习到的特征映射到高维图像空间中，得到最终的高分辨率视频。

任意倍图像超分辨率算法：任意倍图像超分辨率技术可以分为两类，一类直接将单帧的低分辨率输入帧与高分辨率恢复帧相关的位置矩阵作为模块的输入，预测不同尺度因子下的滤波器权重，只需要一个模型就可以实现任意倍数的放大，但是在相同的尺度因子下预测的权重是一样的。另一类考虑在上采样的前一个环节就引入尺度因子信息，帮助特征学习，但是此种方式直接将尺度因子转化为一个向量，并不能充分表达尺度因子信息。

而视频超分辨率与图像超分辨率根本上的不同是，视频超分以多帧作为输入，在算法的各个环节都应该充分利用相邻帧的信息帮助恢复，从而达到更好的效果。同时，目前视频超分辨率领域并没有任意倍放大的相关研究，而任意倍图像超分的方法因忽视了视频的特性而无法直接迁移到视频中。作为计算机视觉领域的一大热点研究问题，任意倍的视频放大不可忽略。

可变卷积：普通卷积的卷积核固定，而可变卷积的感受野可以自适应地调节以适应不同的形变，采样形状不规则，在标准的卷积核上加入通过卷积层生成的偏移量作为采样点，将传统卷积核变为一个可变形的卷积核。可变卷积灵活采样的特性使它可以应用到对齐模块。

参考文献

[1]Wang X,Chan C K K,Yu K,et al.EDVR:Video Restoration with EnhancedDeformable Convolutional Networks[J].CVPR Workshops,2019

[2]Hu X,Mu H,Zhang X,et al.Meta-SR:A Magnification-Arbitrary Networkfor Super-Resolution[J].CVPR,2019:1575–1584

[3]Fu Y,Chen J,Zhang T,et al.Residual Scale Attention Network forArbitrary Scale Image Super-Resolution[J].Neurocomputing,2021:201–211.