[发明专利]一种面向水下机器人目标抓取的双目视觉定位方法

权利要求书

1.一种面向水下机器人目标抓取的双目视觉定位方法，其特征在于，具体包括以下步骤：

步骤一、双目标定：根据小孔成像原理对双目相机进行水下离线标定，计算左右相机的内参矩阵，外参矩阵，畸变系数以及左右相机之间的旋转和平移矩阵；

步骤一所述双目标定具体包括标定板和摄像机同时浸没在水中，为减小标定误差，标定板与摄像机之间的距离依据标定板图案在摄像机视野中的比例来调整，标定板大小占整个视野的1/3～3/4；不同位姿标定板图片的数目控制在25～30张内，覆盖相机全部视野；标定板与成像平面的夹角需以10度的间隔逐级增大，到50度为止，利用张正友标定法进行单目标定和双目立体标定，得到单目相机的内参矩阵外参矩阵、单目相机的内参数像素焦距f，主点坐标(u₀，v₀)，以及双目相机之间的旋转R和平移矩阵T；

步骤二、目标检测：检测左相机图像目标区域，确定目标检测框的像素坐标；

步骤三、双目图像矫正：将左目图像目标检测框外的像素灰度值设置为0，对双目相机在水下成像过程中产生的径向畸变和切向畸变进行矫正、对双目图像进行Bouguet极线校正使像点在左右图像上的高度一致，对右目图像特定区域像素灰度值设置为0；

步骤四、立体匹配：对矫正后的双目图像进行特征点提取，特征点描述，特征点匹配，去除误匹配，得到目标的精确匹配点对；

步骤五、三维坐标计算：根据相似三角形原理计算目标在左摄像机坐标系下的三维坐标。

2.根据权利要求1所述一种面向水下机器人目标抓取的双目视觉定位方法，其特征在于：步骤二所述目标检测具体包括对左相机目标检测采用FastRCNN算法进行学习，为减少无效特征点数量节约时间成本且准确定位目标，对检测框外的像素灰度值设置为零。

3.根据权利要求2所述一种面向水下机器人目标抓取的双目视觉定位方法，其特征在于，所述步骤三具体包括以下步骤：

步骤1、将左目图像目标检测框外的像素灰度值设置为0；

步骤2、对双目相机在水下成像过程中产生的径向畸变和切向畸变进行矫正：摄像机校准采用小孔成像模型，理想的小孔模型是线性模型，但是由于透镜制造精度，组装工艺的偏差以及水下水——玻璃——空气的多次折射会引入畸变镜头，线性模型要加上一些内部参数，变成非线性模型；镜头的畸变分为径向畸变和切向畸变两类,表示为：

x₁＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y₁＝y(1+k₁r²+k₂r⁴+k₃r⁶)

x₂＝x+[2p₁y+p₂(r²+2x²)]

y₂＝y+[2p₁x+p₂(r²+2y²)]

r²＝x²+y²

其中：k₁,k₂,k₃为径向畸变系数，p₁,p₂为切向畸变系数，(x,y)为像素点在图像坐标系下理想的无畸变的坐标，(x₁,y₁)为像素点在图像坐标系下径向畸变后的坐标，(x₂,y₂)为像素点在图像坐标系下切向畸变后的坐标；

将源图像像素坐标系通过内参矩阵转化成相机坐标系，通过畸变系数校正图像的相机坐标，校正后通过内参矩阵将相机坐标系转换成图像像素坐标系，并根据源图像坐标的像素值赋值给新的图像坐标；

步骤3、对双目图像进行Bouguet极线校正使像点在左右图像上的高度一致：Bouguet极线校正的目标是使两个相机的光轴平行，像点在左右图像上的高度一致，这使得特征点立体匹配时，只需在同一行上搜索左右像平面的匹配点即可，能使效率大大提高；Bouguet极线校正方法是将右图像平面相对于左图像平面的旋转矩阵R分解成两个矩阵R_l和R_r，将左右相机各旋转一半，使得左右相机的光轴平行，分解的原则是使得左右图像重投影造成的畸变最小，左右视图的共同面积最大，构造变换矩阵R_rect使得基线与成像平面平行即行对准，通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵R_l′，R_r′，左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行；各矩阵表示为：

R_l＝R^1/2

R_r＝R^-1/2

T＝[T_x T_y T_z]^T

e3＝e1×e2

R_l′＝R_rect*R_l

R_r′＝R_rect*R_r

其中：T为平移矩阵，T_x,T_y,T_z为左右相机坐标系在世界坐标系x,y,z三个方向的平移量；

步骤4、双目图像矫正后，计算出左图像非零像素的纵坐标范围和横坐标范围，在右图像相应区域外设置像素值为零，右图像横坐标非零像素最小值为左图像横坐标最小值与最大视差的差值。