[发明专利]低码率视频超分辨率重构的编码装置和解码装置

说明书

技术领域

本发明涉及一种视频处理领域的技术，具体是一种低码率视频超分辨率重构的编码装置和解码装置。

背景技术

低码率视频的传输和编解码技术是当前信息科学领域的研究热点，该技术应用基础广泛，如手机电视、视频监控、远程医疗、车辆无人驾驶等；在军事领域，该方面也有着的巨大的应用价值，比如空中无人侦查、海底无线视频传输、遥感成像、敌意干扰环境下的视频传送等。随着大量视频应用不断涌现以及高分辨率显示设备的普及，市场对低码率视频的质量要求也越来越高，然而作为公有资源的“传输带宽”总是相对紧缺的，因而在低码率条件(例如200kbps或更低)条件下得到高质量的图像质量是上述视频应用不变的追求。

现有的成熟的视频压缩标准有MPEG-4、H.261、H.263、H.264，以及AVS等，这些编码的共同特征是基于混合编码技术，即：通过运动补偿加上变换编码的技术。其中运动补偿利用了视频信息在时间和空间的相关性，而变换编码技术应用了视频图像在频域的能量集中特性。这些编解码系统中，编码和解码对应的图像尺寸相同，解码算法的设计目标是尽可能逼真地复原编码端的图像。由于低码率的限制，他们不能直接获得高于编码器所提供的图像分辨率。

除了上述技术之外，还有一种视频处理技术：超分辨率图像重构技术，该技术可以从低分辨率图像重构出高分辨率的图像，该技术有以下三个方向：基于多幅静态图像样本的超分辨率重构技术、基于图像成像模型的求逆的方法研究、利用图像的概率统计模型进行超分辨率重构。

基于多幅静态图像样本的超分辨率重构技术是通过匹配算法找出同一目标对象的各个像素在不同图像样本中的对应关系，经过象素数据的融合重构出高分辨率的图片。由于该算法假设多幅图片所反映的物体对象是静态的或基本静止，不同图像样本之间的差别由物体的整体平移和旋转两个参数描述，这些限制条件使这一类算法应用领域相对较窄、且对于不同的图像性能不稳定，另外所提出的算法运算量大，难以应用于高度动态的和实时的视频编解码技术中。该技术适用于遥感照片、照片修复等准静态的对实时要求低的领域；

基于图像成像模型的求逆的方法研究是通过在正则化条件下对模型方程求逆，重构出原始的高分辨率图像，由于这一类超分辨率重构技术需要求逆的方程一般是非线性和病态的，图像重构需要通过大量的迭代搜索运算实现。此外该算法的性能受正则化约束的选择影响大。这些问题同样使得它难以应用在实时解码的视频播放系统。

经对现有技术文献的检索发现，王涛等人在2007年小波分析和模式识别国际会议上发表的《automatic super resolution image reconstruction based onhybrid MAP-POCS》(《基于MAP和POCS的自动化图像超分辨率重构》)中提到的基于最大后验概率(MAP)和凸集投影(POCS)算法相结合的超分辨率重建方法，具体来说，首先使用APEX算法对升采样后的参考图像去卷积，以得到点扩散函数(PSF)和对原始高分辨率图像的近似，然后建立Huber-Markov随机场图像先验模型，用MAP方法对非齐次控制参数进行估计，最后通过迭代运算对病态过程进行正则化处理。该方法可以应用在仿真图像、实际视频序列和实际卫星图像的超分辨率重建上。相比双线性内插等传统方法，MAP-POCS混合重建方法可以保证锐利的边缘，准确的纹理和对PSNR的改进。这一方法依赖已知的先验概率模型，但由于视频数据的高度动态和多样性，先验概率模型与实际差异较大，使得该方法需要不断迭代以达到复原图像质量的提升，因而计算量巨大，难以应用在实时视频图像处理上。

发明内容

本发明针对上述现有技术的不足，提出了一种低码率视频超分辨率重构的编码装置和解码装置，在按照一般视频编码标准进行编码的同时，对原始图像首先得到一些针对超分辨率重构的辅助码流，以对解码端的超分辨率重构进行指引和对人眼感兴趣区域进行更进一步的矫正，以减少视频解码端超分辨率重构复杂度，同时提高超分辨率重构的精度。

本发明是通过以下技术进行实现的。

本发明涉及一种低码率视频超分辨率重构的编码装置，包括：降采样模块、标准视频编码器、第一标准视频解码器、图像特征分析模块、超分辨率重构辅助码流生成模块、第一超分辨率重构模块、码流合成模块，其中：

降采样模块、图像特征分析模块、超分辨率重构辅助码流生成模块均接收一部分输入编码装置的原始高分辨率图像序列；

降采样模块将原始高分辨率图像序列进行时间和空间的降采样，得到低分辨率图像序列；