[发明专利]基于深度学习的单摄像头旋转拼接方法

权利要求书

1.基于深度学习的单摄像头旋转拼接方法，依据从图像到相机姿态的回归模型在线估计当前帧图像相对参考角度的相机姿态，利用相机内参和在线估计获得的当前帧图像相对于参考角度的相机外参对当前帧图像进行几何变换，映射至拼接图像坐标系，形成拼接图像坐标系下的变换结果图像，对各帧图像的变换结果图像进行图像融合，形成拼接图像。

2.如权利要求1所述的基于深度学习的单摄像头旋转拼接方法，其特征在于所述几何变换包括：

a)依据下式将图像I_n的二维图像坐标(x，y)变换到参考图像I₀对应的三维摄像机坐标(X，Y，Z)：

其中

R′_n是图像I_n相对参考图像I₀的相机姿态参数，R_n是图像I_n对应的相机外参矩阵，由在线估计获得，R₀是参考图像I₀对应的相机外参矩阵(或者说是参考角度下的相机外参矩阵)，K是相机内参矩阵，下标n是图像的编号；

b)将三维坐标(X，Y，Z)柱面投影到拼接图像坐标系，依据下式计算图像I_n的结果图像坐标(u，v)：

u＝f*atan(X/Z)

其中，f是相机焦距，由内参矩阵K＝diag(f，f，1)得到。

3.如权利要求1所述的基于深度学习的单摄像头旋转拼接方法，其特征在于在进行图像融合之前，采用相位相关法估计相邻变化结果图像间的位移偏差，对变化结果图像进行偏差补偿，依据偏差补偿后的变化结果图像进行所述的图像融合。

4.如权利要求1所述的基于深度学习的单摄像头旋转拼接方法，其特征在于基于深度学习的端到端方法训练获得所述从图像到相机姿态的回归模型。

5.如权利要求4所述的基于深度学习的单摄像头旋转拼接方法，其特征在于离线实施所述从图像到相机姿态的回归模型的训练，以该单摄像头在实际拍摄位置下进行拍摄采样，获得覆盖其旋转拍摄范围的不同拍摄角度下的图像样本，估计出相机内参和各图像样本对应的相机外参，以所述图像样本作为训练样本，以相应的相机外参为样本标记，基于深度神经网络进行回归模型的训练。

6.如权利要求5所述的基于深度学习的单摄像头旋转拼接方法，其特征在于采用下列方式估计相机内参和各图像样本对应的相机外参：提取图像特征并进行特征匹配，据此估计相邻图像间的单应矩阵，通过分解单应矩阵及迭代优化估计相机内参和外参，以估计获得的外参矩阵乘以参考图像对应的外参矩阵的逆，获得相对于参考角度的相机外参。

7.如权利要求6所述的基于深度学习的单摄像头旋转拼接方法，其特征在于所述相机外参采用四元组表示：q_i＝(q_i0；q_i1，q_i2，q_i3)，

其中

R_i′＝{m_i，st}

m_i，st是矩阵R_i′的元素，R_i是样本图像I_i对应的外参矩阵，R_i是样本图像I_i相对于参考图像I₀的外参矩阵，I₀为参考图像，下标i是样本图像的编号。

8.如权利要求1-7任一项所述的基于深度学习的单摄像头旋转拼接方法，其特征在于相邻帧图像有30％以上的重叠度。

9.如权利要求8所述的基于深度学习的单摄像头旋转拼接方法，其特征在于所述单摄像头的拍摄为周期性连续旋转拍摄。

10.如权利要求9所述的基于深度学习的单摄像头旋转拼接方法，其特征在于指定单摄像头的某个拍摄角度为参考角度，以单摄像头自参考角度起至重新返回参考角度为一个拼接周期，对一个拼接周期的所有图像进行拼接。