[发明专利]图像处理设备和图像处理方法

说明书

技术领域

本发明涉及一种图像处理设备和图像处理方法，尤其涉及一种用于通过迭代反向投影方法进行超分辨率重建的图像处理设备和图像处理方法。

背景技术

高分辨率图像在计算机视觉、医学、遥感等诸多领域有着广泛的应用。通过提高成像装置的分辨力来提高图像分辨率，将使摄像仪器成本昂贵，并且传统工艺也制约了成像装置分辨力的提高。于是，通过软件途径提高图像分辨率的超分辨率重建技术已成为研究热点。

超分辨率重建是用多幅低分辨率图像，诸如视频中的低分辨率帧序列，合成一幅高分辨率图像的技术。当前常用的超分辨率重建方法之一是迭代反向投影(IBP，Iterative Back Projection)方法。例如，在发表于“中国科技论文在线”的郭伟伟、章品正等人的文章“基于IBP算法的超分辨率图像重建”介绍了一种IBP算法。

当低分辨率图像序列中的各帧是采取交织模式的交织图像时，直接应用超分辨率技术，诸如迭代反向投影方法，将无法得到期望的结果。

发明内容

要解决这一问题，最直接的方法是将n帧交织图像的奇行和偶行拆出来，构成分辨率为W×(H/2)的2n幅图像(即，垂直分辨率降为原来的1/2)，以作为一序列的观测图像，然后进行超分辨率计算。这里，假设低分辨率图像序列中的各帧图像的分辨率为W×H，其中，W和H分别表示图像在水平和竖直方向上每单位长度(英寸)的像素点数。但这样做在低分辨率图像上已经损失了一半的分辨率，使得超分辨率图像的分辨率也降低一半。

另一种方法是先对低分辨率图像去交织，由n幅交织图像(分辨率为W×H)恢复出2n幅同样大小(W×H)的图像，再对这2n幅图像应用超分辨率计算。这一方法可以保持低分辨率图像的分辨率，从而得到高分辨率的超分辨率图像。但是去交织只是对未知像素值的估计，估计值和真实值之间的误差经常劣化超分辨率的结果。

鉴于现有技术的以上不足，本发明旨在提供一种用于通过迭代反向投影方法进行超分辨率重建的图像处理设备和图像处理方法，其能够更充分有效地利用交织模式下的序列低分辨率图像的图像信息，来生成更加清晰的超分辨率图像。

本发明的一个实施例是一种图像处理设备，用于通过迭代反向投影方法进行超分辨率重建。该图像处理设备包括：提取单元，被配置为从交织模式的低分辨率图像序列中的每个低分辨率图像中提取相应的奇场图像和偶场图像；投影单元，被配置为针对每一个所提取的奇场图像和偶场图像，通过把高分辨率参考图像投影到所述奇场图像和偶场图像来获得分别与所述奇场图像和偶场图像相对应的构造图像；误差计算单元，被配置为针对每个低分辨率图像，分别计算从中所提取的奇场图像与相应的构造图像间的奇场误差图像和从中所提取的偶场图像与相应的构造图像间的偶场误差图像；以及反向投影单元，被配置为通过将奇场误差图像和偶场误差图像反向投影到高分辨率参考图像上，以更新高分辨率参考图像。

进一步地，该图像处理设备还可以包括：参考图像生成单元，被配置为根据低分辨率图像序列中之一低分辨率图像的奇场图像或偶场图像生成初始的高分辨率参考图像；以及运动估计单元，被配置为计算每一奇场图像和偶场图像相对于高分辨率参考图像的运动向量，以获得投影单元的投影和反向投影单元的反向投影所需的运动位移，其中，如果高分辨率参考图像初始生成时所根据的图像与待计算的奇场图像和偶场图像具有不同的奇偶性，则对所计算的运动向量的垂直分量进行奇偶校正。

进一步地，投影单元的投影/反向投影单元的反向投影可以采用纵向与横向比例为2∶1的降/升采样。

进一步地，投影单元和/或反向投影单元可以进一步被配置为采用在待滤波图像的高度方向上的轴长与宽度方向上的轴长之比为2∶1的椭圆低通滤波器进行低通滤波。

进一步地，投影单元和/或反向投影单元可以进一步被配置为采用在待滤波图像的高度方向上的轴长大于宽度方向上的轴长的椭圆低通滤波器进行低通滤波。

进一步地，反向投影单元可以进一步被配置为针对每个低分辨率图像，根据已反向投影到高分辨率参考图像的奇场误差图像和偶场误差图像获取组合误差图像，以更新高分辨率参考图像。

进一步地，反向投影单元可以进一步被配置为通过将已反向投影到高分辨率参考图像的奇场误差图像和偶场误差图像上相对应的像素分别相加来获取组合误差图像。