[发明专利]面向TV影像的超分辨率处理方法及装置、以及存储介质

摘要

本发明利用将与TV影像的劣化程度相应地特定出的PSF的亮度分布、由TV影像的Y(亮度)成分构成的劣化图像的亮度分布及复原图像初始值的推定亮度分布作为输入信息来多次执行基于Bayse概率论的基于实数的迭代运算的、基于软件或硬件的PSF复原单元及图像复原单元，来求出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布，并将其替换在提取了劣化图像的亮度分布时的TV影像的Y成分，由此接近实时地提供与劣化前的状态近似的TV影像，从而解决上述课题。

主权项

1.一种面向TV影像的超分辨率处理方法，输出将构成TV影像的1帧的光学劣化减少而复原成劣化前的帧的超分辨率TV影像信号，由此来复原TV影像，所述面向TV影像的超分辨率处理方法的特征在于，具有：(S1)第一劣化图像准备工序，根据TV影像准备由1帧大小的亮度分布构成的劣化图像的亮度分布；(S2)将所述劣化图像的亮度分布作为复原图像初始值的推定亮度分布的工序；(S3)对PSF的亮度分布进行特定的第一PSF特定工序；(S4)将特定出的所述PSF的亮度分布作为PSF初始值的推定亮度分布的工序；(S5)设定最大迭代运算次数的工序；(S6)将对迭代运算次数进行计数的计数器重置的工序；(S7)第一复原图像初始值修正工序，复制所述复原图像初始值的推定亮度分布并将其作为修正复原图像初始值的推定亮度分布，而且，针对在将所述PSF的亮度分布与所述修正复原图像初始值的推定亮度分布进行卷积运算时在所述修正复原图像初始值的推定亮度分布的周边部产生的运算困难区域，基于所述PSF的亮度分布的图像尺寸来计算所述运算困难区域，并复制所述运算困难区域的像素，将所复制的像素以相对于所述修正复原图像初始值的推定亮度分布的边界成为镜像对称地配置的方式粘贴在所述边界的外侧，来对所述修正复原图像初始值的推定亮度分布进行修正，从而得到修正复原图像初始值的推定亮度分布；(S8)将所述修正复原图像初始值的推定亮度分布作为劣化图像的亮度分布的工序；(S9)将所述PSF初始值的推定亮度分布卷积所述修正复原图像初始值的推定亮度分布而得到第一函数的工序；(S10)将所述第一函数进行反转而得到第二函数的工序；(S11)将所述第二函数乘以所述劣化图像的亮度分布而得到第三函数的工序；(S12)求出所述修正复原图像初始值的推定亮度分布的反转函数并将其作为第四函数的工序；(S13)将所述第四函数卷积所述第三函数而得到第五函数的工序；(S14)将所述第五函数乘以所述PSF初始值的推定亮度分布而得到复原PSF的推定亮度分布的工序；(S15)将所述复原PSF的推定亮度分布替换所述PSF初始值的推定亮度分布的工序；(S16)对所述计数器累加1的工序；(S17)验证工序，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S9)工序，若验证结果为真则将所述复原PSF的推定亮度分布作为最大似然复原PSF的亮度分布进行输出；(S18)由所述(S1)～(S8)工序构成的PSF复原运算准备工序；(S19)由所述(S9)～(S17)工序构成的第一PSF复原运算工序；(S20)第一PSF复原工序，具有所述PSF复原运算准备工序及所述第一PSF复原运算工序，在所述PSF复原运算准备工序及所述第一PSF复原运算工序中，通过以工序的编号从小到大的顺序执行来完成所述最大迭代运算次数的迭代运算，并输出最大似然复原PSF的亮度分布；(S21)重置所述计数器再向(S23)跳转的工序；(S22)第二复原图像初始值修正工序，由与第一复原图像初始值修正工序相同的处理顺序构成，基于所述最大似然复原PSF的亮度分布的图像尺寸对所述复原图像初始值的推定亮度分布进行修正而得到修正复原图像初始值的推定亮度分布；(S23)将所述最大似然复原PSF的亮度分布卷积所述复原图像初始值的推定亮度分布而得到第六函数的工序；(S24)将所述第六函数进行反转而得到第七函数的工序；(S25)将所述第七函数乘以所述劣化图像的亮度分布而得到第八函数的工序；(S26)求出所述最大似然复原PSF的亮度分布的反转函数并将其作为第九函数的工序；(S27)将所述第九函数卷积所述第八函数而得到第十函数的工序；(S28)将所述第十函数乘以所述复原图像初始值的推定亮度分布而得到复原图像的推定亮度分布的工序；(S29)将所述复原图像的推定亮度分布替换所述复原图像初始值的推定亮度分布的工序；(S30)对所述计数器累加1的工序；(S31)验证工序，对所述计数器的值超过所述最大迭代运算次数这一假设进行验证，若验证结果为假则返回(S22)工序，若验证结果为真则将所述复原图像的推定亮度分布作为最大似然复原图像的亮度分布进行输出；(S32)由所述(S21)工序构成的第一图像复原运算准备工序；(S33)由所述(S22)～(S31)工序构成的第一图像复原运算工序；(S34)第一图像复原工序，具有所述第一图像复原运算准备工序及所述第一图像复原运算工序，在所述第一图像复原运算准备工序及所述第一图像复原运算工序中，通过以工序的编号从小到大的顺序执行来完成所述最大迭代运算次数的迭代运算，并输出最大似然复原图像的亮度分布；以及(S35)第一TV影像化工序，对所述最大似然复原图像的亮度分布实施TV影像化并输出1帧大小的超分辨率TV影像信号。