[发明专利]光场图像的校正方法、计算机可读存储介质、及电子终端

说明书

本发明提供光场图像的校正方法、计算机可读存储介质、及电子终端，本发明将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像，以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵。于理想坐标系中的各光场图像的同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样以使多相机阵列图像可以高效地应用于相关的光场渲染算法。

技术领域

本发明涉及光学技术领域，特别是涉及光场图像的校正方法、计算机可读存储介质、及 电子终端。

背景技术

光作为一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性，帮助人类感知 物体的明暗、位置和色彩。然而，传统的光学成像智能捕获到光辐射在二维平面上的投影强 度，而失去了目标的三维形态信息。光场信息采集，便是是获取光辐射的完整分布，通过变 换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图 像的过程。光场成像作为一种计算成像技术，其“所得”(光场)需要经过相应的数字处理 算法才能得到“所见”(图像)。因此，光场成像的过程包括光场的采集及相应的光场数据 处理。

基于多相机阵列采集的光场图像，在理想情况下视角处于阵列同行的相邻图像只有水平 视差，视角处于阵列同列的相邻图像只有竖直视差，同时相邻的相机之间的基线相等。这种 理想状况使得极线约束只存在于水平或者竖直方向，对于深度估计和图像匹配等计算机视觉 应用中的像素匹配搜索过程提供了极大的方便，同时可以获得相应的高质量结果。除此之 外，等基线的设定从理论上对光线进行周期性采样，使得多相机阵列图像可以高效的应用于 相关的光场渲染算法。

但是，由于相机制作工艺，或者传感器在相机中的相对位置有所差异，抑或阵列装配过 程中也存在安装误差等原因，导致相机阵列中的相机的姿态和视角并不完全在理想状态下， 故采集的相邻图像之间的视差处于不同方向。

因此，如何基于多相机阵列光场采集的多视角阵列图像数据，获得视角处于阵列同行的 相邻图像只有水平视差，视角处于阵列同列的相邻图像只有竖直视差，且相邻的相机之间的 基线相等，成为本领域亟需解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供光场图像的校正方法、计算机可 读存储介质、及电子终端，用于解决现有技术中相机阵列中的相机的姿态和视角并不完全在 理想状态等技术问题。

为实现上述目的及其他相关目的，本发明提供一种光场图像的校正方法，应用于多相机 阵列，所述多相机阵列用于采集世界坐标系中的三维场景点并将其转换为相机坐标系中的多 行多列光场图像，其中，所述相机坐标系包括当前坐标系和理想坐标系；所述校正方法包 括：将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系 中的理想光场图像；以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光 场图像校正为理想光场图像的变换矩阵；其中，所述变换矩阵用于当前相机坐标系下任一光 场图像校正为理想坐标系下的理想光场图像，使得校正后的理想坐标系中同行图像只存在水 平视差，同列图像只存在竖直视差，且相邻图像之间基线相等。

于本发明的一实施例中，所述方法还包括：所述三维场景点基于当前投影矩阵转换为当 前坐标系中的当前光场图像；所述三维场景点基于理想投影矩阵转换为理想坐标系中的理想 光场图像；其中，所述变换矩阵包括变换矩阵，所述变换矩阵包括所述当前投影矩阵和理想 转换矩阵；所述理想转换矩阵包括理想内参矩阵和理想外参矩阵，所述理想外参矩阵又包括 理想旋转矩阵和理想平移向量。