[发明专利]基于成像相关的多焦距光场视频帧内预测方法和装置

说明书

一种基于成像相关的多焦距光场视频帧内预测方法，包括：S1、根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I₀；S2、根据I₀和相机参数分别确定出I₀左、左上和右上相邻宏像素对应的透镜类型I₁，I₂和I₃；S3、根据透镜间的焦距关系分别计算出左、左上、右上相邻宏像素下的参考块位置p₁，p₂，p₃和缩放因子f₁，f₂和f₃；S4、分别对位置p₁，p₂，p₃的参考块进行f₁，f₂，f₃倍数的缩放，生成新参考块x₁，x₂，x₃；S5、对新参考块x₁，x₂和x₃进行加权预测得到帧内预测块y。本发明提高了光场图像视频的压缩率，降低了编解码计算复杂度，提高了计算的鲁棒性。

技术领域

本发明涉及计算机视觉与数字处理领域，具体涉及一种基于成像相关的多焦距光场视频帧内预测方法。

背景技术

光场相机是一种能同时捕获光线的强度和角度信息的新型相机，可用于立体显示、三维重建以及虚拟现实等计算机视觉领域，引起了研究人员的广泛关注。为了进一步提升采集的光场质量，研究人员们提出了基于多焦距微透镜阵列的光场相机，可同时对多个场景深度进行聚焦。然而这种新型的相机采集到的光场图像或视频具有比传统光场更为复杂的像素分布结构，同一物体在不同焦距透镜下的像相关性下降，使得用现有的编解码算法和编解码软硬件架构的压缩效率极具下降，也制约着高质量光场内容的进一步发展和应用。因此，研究针对这种新型光场数据的编码技术，寻找针对性的高效压缩方法成为由平面多媒体迈向立体影像时代急需且必须的核心技术。

目前尚未有针对这种新型光场数据利用帧内预测技术的直接压缩方法，但是用传统图像的方法也能对这种新型光场数据进行压缩，只是能够获得的压缩率十分有限；如HEVC(High Efficiency Video Coding)自身的帧内预测方法能够处理光场视频，达到一定的压缩效果。但是由于光场数据的数据量较普通图像或视频急剧上升，将光场数据作为传统图像视频进行压缩，将耗费巨大的计算资源。尽管一些传统的光场图像压缩方法也能用于压缩这种新型光场数据，但压缩效率不高。目前利用帧内预测对光场图像视频进行直接压缩的方法中，统一存在的缺陷就是由于图像中宏像素结构间的相关性未能充分利用，进而影响了编码效率。

发明内容

本发明的主要目的在于克服现上述技术缺陷中的至少一种，提供一种基于成像相关的多焦距光场视频帧内预测方法。

为实现上述目的，本发明采用以下技术方案：

一种基于成像相关的多焦距光场视频帧内预测方法，包括以下步骤：

S1、输入要进行帧内预测的当前预测单元，根据当前预测单元的位置和光场相机参数计算出当前预测单元对应的透镜类型I₀；

S2、根据透镜类型I₀和相机参数分别确定出透镜类型I₀左、左上和右上相邻宏像素对应的透镜类型I₁，I₂和I₃；

S3、根据透镜间的焦距关系分别计算出左、左上、右上相邻宏像素下的参考块的左上方像素点的位置p₁，p₂，p₃和缩放因子f₁，f₂和f₃；