[发明专利]一种基于多层折射图像模型的水下双目立体视觉三维重建方法

权利要求书

1.一种基于多层折射图像模型的水下双目立体视觉三维重建方法，其特征在于，包括以下步骤：

步骤1：计算左、右相机的方向信息图像，即dir_L和dir_R；

步骤2：计算对应像素的位置图像，即pos_L和pos_R；

步骤3：基于左、右相机的方向信息图像dir_L和dir_R，利用空气中的匹配算法计算视差图disp，根据此视差图用于确定左、右方向信息图像上的坐标对应点；

步骤4：根据以上计算出来的方向信息图像和位置图像计算匹配点的三维坐标；

所述步骤1中计算左、右相机的方向信息图像，具体包括以下步骤：

步骤1-1：采用相机的多层折射立体模型，建立立体视觉坐标系；定义方向图像内参矩阵，在立体视觉坐标系下建立左、右方向图像；

步骤1-2：计算左、右方向信息图像任意像素在立体视觉坐标系下对应的光线方向向量I_{L_stereo}、I_{R_stereo}，并根据立体视觉坐标系与多层折射坐标系的坐标变换关系：P_r＝^rR_newP_new，计算得到光线在多层折射坐标系下的方向向量I_{L_reflect}、I_{R_reflect}；

步骤1-3：根据光场模型，将左、右方向信息图像的光线矢量表示为光场：

对于折射率为μ_n的介质，光线ⁿL_r传播距离d_n后进入折射率为μ_n+1介质时发生折射，入射光线和折射后光线表示为：

ⁿ⁺¹L_r＝R(s_n t_n μ_n μ_n+1)×T(d_n)×ⁿL_r

其中

根据以上公式计算左、右方向信息图像像点经过多层界面传播和折射后到达空气中的光线并转换成光线矢量

步骤1-4：将光线矢量转换到左、右相机坐标系下，根据左、右相机内参计算得到方向图像上任意像点对应原图像上的像素位置，并建立位置映射表；

步骤1-5：利用水下双目视觉测量系统获取到的水下目标图像，根据步骤1-4计算得到的位置映射表，使用OpenCV中Remap函数快速计算出左、右方向信息图像；

所述步骤2中计算左、右位置图像，具体包括以下步骤：

步骤2-1：使用光场表示，根据步骤1-4中的光线矢量计算出光线与分界面的交点，将该光线用光场表示：

L’＝R(s，t，μ，μ’)×L＝R(s，t，μ，μ’)×T(d)×L_r

  ＝(u’，v’，s’，t’)^T

这样得到光线与分界面的交点为：C＝(u’,v’,d)；

光线方向：

步骤2-2：将以上交点转换到对应立体视觉坐标系下；

根据立体视觉坐标系与多层折射坐标系的位置姿态转换矩阵^newR_r对计算出的光线与分界面的交点及方向进行变换，获得在新的坐标系下的光线与分界面的交点C_new及光线方向I_new；

C_new＝^newR_rC＝(c_x，c_y，d_new)

步骤2-3：根据立体视觉坐标系建立新的光场坐标系，求光线在立体视觉坐标系下的位置信息；

新的光场坐标系定义如下：u-v坐标系与立体视觉坐标系的x-y平面平行，且原点和立体视觉坐标系原点重合；与u-v平面距离一个单位长度的平行平面定义为s-t平面，s-t坐标系与u-v坐标系平行，则光线在新光场坐标系下表示为：

光场与新坐标系xy平面的交点：

L_new’＝T(-d_new)×L_new＝[u_new’，v_new’，s_new，t_new]^T

根据P_new＝(u_new’,v_new’,0)获得左、右图像每一条光线的位置数据，保存于位置图像中。