[发明专利]一种基于深度学习和双目定位的海参自主识别和抓取方法

摘要

本发明公开了一种基于深度学习和双目定位的海参自主识别和抓取方法，包含以下的步骤：基于深度学习的水下海参识别与定位；利用双目立体视觉获取海参空间定位信息；利用PID控制方法进行海参抓取。本发明利用GAN模型学习水下海参的特征，利用生成网络生成海参样本，有效解决海参训练样本不足的问题。本发明将均值滤波、中值滤波与维纳滤波相结合进设计滤波算子，解决光线不均匀、浑浊度大以及能见度低等对图像带来的影响。本发明利用卷积神经网络对已有数据进行学习和归纳，准确快速对海参进行检测与二维定位，为后续海参的空间三维定位和抓取提供有力保障。本发明获得高精度的摄像机内、外参数，有利于保障机械手精确抓取。

主权项

1.一种基于深度学习和双目定位的海参自主识别和抓取方法，其特征在于：包含以下的步骤：/nA、基于深度学习的水下海参识别与定位/nA1、基于GAN模型的训练样本构建与增强/n所述的GAN模型即自主生成网络模型，利用GAN模型构建海参样本，通过GAN模型不断迭代训练，得到最优判别器；最优判别器用来判定生成网络所生成的海参样本的质量；当最优判别器对真实海参样本和生成网络所生成的海参样本判别所得到的概率相等的时候，对生成网络所生成的海参样本进行保存，从而实现海参样本的数据增强；/n所述的GAN模型包括两个网络和两个样本集合，两个网络分别为生成网络和判别网络，两个样本集合分别为真实样本集合和虚假样本集合，所述的GAN用于学习海参真实图像的分布，利用所定义的随机噪声生成最接近海参图像的虚假样本图像，将虚假样本和真实样本利用判别网络进行真与假的判定；在GAN运行的初期，生成网络与判别网络处于不稳定状态，经过一段时间的学习和训练后，二者最终达到动态稳定；所述的判别网络和生成网络均采用多层感知机；建立GAN模型如下：/n /n /n其中，D为判别网络，G为生成网络，z表示随机噪声，G(z)表示在含有噪声的影响下生成网络所生成的海参样本，u表示真实海参样本，D(u)表示判别网络对输入海参样本进行判定所得到概率值；表示保持生成网络参数不变，对判别网络进行训练，使得判别网络更具有判别能力；表示保持判别网络参数不变，对生成网络进行训练，使得生成网络生成海参样本和真实海参样本更加接近；最优判别器用如下公式表示：/n /n其中，D^*(u)表示最优判别器，P_r(u)表示判别网络对真实海参样本判定所得到的概率，P_g(u)表示判别网络对生成网络所生成的海参样本判定所得到的结果；当P_r(u)＝P_g(u)时，表示真实海参样本与生成海参样本数量各占一半，此时最优判别器输出概率为0.5；/nA2、低质量图像滤波/n复杂的海底环境往往具有光线不均匀、浑浊度大、能见度低现象，导致获取的海参图像往往分辨率不高或含有噪声，这些噪声对后续的海参识别检测造成影响；下面设计均值滤波、中值滤波与维纳滤波相结合的自适应低质量图像滤波算法，以下的窗口表示图像中3×3大小方形区域；/nA21、均值滤波：用窗口中所包含像素点灰度值的平均值代替待降噪点的灰度值，通过将噪声分散到其他点的方法降低噪声，有效抑制光线不均匀所带来的噪声污染，均值滤波用如下公式表示：/n /n其中，M代表窗口中所包含像素点的个数，f代表方形窗口所包含像素点的灰度值，x表示图像坐标系下像素点的横坐标像素值，y代表图像坐标系像素点下的纵坐标像素值；g_mean(x,y)代表利用均值滤波以后所得到的点(x,y)处像素值；/nA22、中值滤波：利用噪声点的像素值与非噪声点像素值显著不同，对滤波窗口内所有像素点灰度值排序，以中间值代替降噪点的灰度值，浑浊度是由于水中细小颗粒物引起，而细小颗粒物类似于图像中的“椒盐噪声”，因此利用中值滤波特性有效滤除浑浊度大所带的噪声污染；中值滤波用如下公式表示：/n /n其中，median代表求取上述9个像素点的中值操作，g_median(x,y)代表中值滤波后所得到的点(x,y)处像素值；/nA23、维纳滤波：假定待滤波的图像是由未被噪声污染的原始图像和噪声信号组成，并且图像的广义平稳过程和统计特性已知，在复原被噪声信号污染的原始图像过程中，维纳滤波根据原始图像和复原后图像均方误差最小的原则对滤波器参数进行求解；维纳滤波原理用如下公式表示：/n /n其中f(x,y)代表原始图像，代表复原后图像，代表原始图像和复原后图像的均方误差；水下环境复杂多变，利用摄像机所获取的图像信息噪声种类复杂且多为随机类型，利用维纳滤波有效减低随机噪声对于图像的影响；/nA3、基于深度学习的水下海参检测/n为了实现对海参的准确抓取，需要对海参在图像坐标系下进行二维定位；建立卷积神经网络模型，实现对水下海参的准确识别和二维定位；/nA31、建立卷积神经网络模型包括以下步骤：首先读入待检测的图像，经过一次卷积核大小为1×1、卷积核数量为32以及卷积核大小是3×3、卷积核数量为64的卷积操作，利用残差模块得到208×208特征图，208×208特征图经过卷积核为3×3，步长为2的卷积，得到101×104特征图；然后，104×104的特征图经过两次卷积核大小为1×1、卷积核数量为64以及卷积核大小是3×3、卷积核数量为128的卷积操作，利用残差模块得到104×104特征图，104×104特征图经过卷积核为3×3，步长为2的卷积，得到52×52特征图；然后，52×52的特征图经过8次卷积核大小为1×1、卷积核数量为128以及卷积核大小是3×3、卷积核数量为256的卷积操作，利用残差模块得到52×52特征图，104×104特征图经过卷积核为3×3，步长为2的卷积，得到26×26特征图；26×26特征图依次经过B型空洞卷积、A型空洞卷积、A型空洞卷积得到26×26大小的特征图；最后26×26特征图再一次经过B型空洞卷积、A型空洞卷积、A型空洞卷积，得到大小为26×26特征图，将三次得到的26×26特征图进行1×1融合，进而对图像中海参进行检测和定位；/n所述A型空洞卷积的扩张率是2，卷积核感受野的尺寸扩大到5×5；所述B型空洞卷积的扩张率是3，卷积核感受野的尺寸到7×7；/nB、利用双目立体视觉获取海参空间定位信息/nB1、求解世界坐标系与图像坐标系的关系/nB11、使用MATLAB软件对双目摄像机(2)进行标定，其中标定结果由内参数矩阵和外参数矩阵组成，内参数矩阵是像素点与实际空间的比例，外参数矩阵由摄像机模型的平移矩阵和旋转矩阵组成；所述标定采用张正友标定法；/nB12、MATLAB同时读入左摄像机和右摄像机的多组标定图像；循环遍历每组待配对图像，利用标志位Finish_is_ok判定是否循环遍历完所有组图像，若Finish_is_ok＝1表示循环遍历完所有组图像，否则继续循环遍历下一组图像；如果MATLAB读入的该组图像成功配对，则保留该组图像，否则删除该组图像，并读入下一组图像；判定标志位Fnish_is_ok是否等于1，若不等于1则遍历下一组图像；否则判定保留图像组数是否大于3组，如果是，转向步骤B13；否则转向步骤B12；/nB13、对配对成功的多组图像进行一次标定，得到重投影误差，重投影误差是指投影的点与图像测量点的误差；根据海参空间定位对摄像机重投影误差的要求精度，对误差较大的图像组选择删除或者保留；若是选择删除重投影误差较大的图像则转步骤B14，否则转向步骤B16；/nB14、对符合重投影误差要求的左右图像再次进行标定，如果重投影误差满足要求，则转步骤B16；否则转步骤B15；/nB15、矫正：首先将原图像坐标系通过内参数矩阵转化成相机坐标系；然后通过畸变系数校正图像的相机坐标；最后矫正后通过内参数矩阵将相机坐标系转换成图像坐标系，并将原图像坐标系下的像素值赋值给新的图像坐标系；/nB16、最终得到摄像机的标定结果；/nB17、通过对双目摄像机(2)进行标定获得摄像机的内外参数，用于求解世界坐标系与图像坐标系的关系，二者关系用公式(7)表示：/n /n式中：Z_c为相机坐标系的Z轴分量；u为图像坐标系下的横坐标；v为图像坐标系下的纵坐标；d_x是摄像机芯片中每个像素在横坐标轴上的物理尺寸；d_y是摄像机芯片中每个像素在纵坐标轴上的物理尺寸；u₀是图像平面中心横坐标；v₀是图像平面中心纵坐标；f为摄像机的焦距；R是一个3×3的摄像机旋转矩阵；T是3×3的摄像机平移矩阵；X_W为海参在世界坐标系下的横坐标，并取水平向右为正方向；Y_W为海参在世界坐标系下的纵坐标，并以横坐标所在的水平面顺时针旋转90°得到的方向为正方向；Z_W为海参在世界坐标系下的竖坐标，并取垂直于水平面竖直向上为正方向；其中f_x＝f/dx、f_y＝f/dy；f_x和f_y所在的矩阵为摄像机的内参数矩阵，旋转矩阵和平移矩阵组成的矩阵为摄像机的外参数矩阵；/nB2、立体校正使图像共面/n在立体视觉中，由于左右摄像机所处的位置差异，得到的左右图像会存在不共面的现象，校正的目的就是使左右图像达到共面；设基线是左摄像机光心C1与右摄像机光心C2的连线；左极点e1和右极点e2被分别定义为海参的左右成像平面与基线的交点；左摄像机成像点P1与极点所在的直线被称为左极线L1；右摄像机成像点P2与极点所在的直线被称为右极线L2；左极线L1和右极线L2所在的平面被称为极平面P；校正前左右摄像机的光心存在交点，校正后左右摄像机的光轴达到平行；/n所述校正的方法步骤如下：根据步骤B16得到的摄像机的标定结果中的旋转矩阵R和平移矩阵T，调用OpenCV中的cvStereoRectify函数将旋转矩阵R和平移矩阵T划分为左摄像机的合成矩阵r_l和右摄像机的合成矩阵r_r，实现图像平面的共面；建立行对准换行矩阵R_rect使极点e1、e2转换到无穷远处；最后根据重投影矩阵作为立体矫正的输出矩阵，实现世界坐标系和像素坐标系的转换；/n其中：/nr_l＝R^1/2 (8)/nr_r＝R^-1/2 (9)/nR_rect＝[e₁ e₂ e₃]^T (10)/n式中，e₁＝T/||T||为与平移向量T同方向的极点，T＝[T_x T_y T_z]^T，T_x为x方向的平移向量；T_y为y方向的平移向量；T_z为z方向的平移向量；为图像平面的方向的向量；e₃＝e₁×e₂为垂直于e₁与e₂所在平面的向量；/nB3、立体匹配获得视差图/n为了得到更高的匹配精度，减少误匹配状况，立体匹配包括以下步骤：/nB31、计算匹配代价：通过计算左右图像组对应像素的RGB 3个通道的灰度值确定匹配代价，匹配代价计算生成一个DSI，这个DSI是一个三维的空间，每一个视差得到一张代价图，然后找到匹配代价最小的对应的视差图；/nB32、代价聚合：步骤B31得到的是图像上的所有孤立像素的视差图，引入了噪声，导致一片区域内的视差值的不同，而代价聚合则是根据相邻像素具有连续的视差值的准则，对代价矩阵进行优化，得到新的DSI，用矩阵S表示；/nB33、计算左右图像的视差：通过步骤B32得到的代价矩阵S确定每个像素的最优视差值，在像素所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差；/nB34、对视差进行优化；采用左右一致性检查算法踢出因为遮挡和噪声导致的错误视差，采用剔除最小连通区域算法剔除孤立异常点，对步骤B33得到的视差进行优化；/nB35、根据双目摄像机(2)获取的海参图像信息和标定获得的左右摄像机的内参数矩阵、外参数矩阵，实现左右图像的校正，再通过深度学习对海参进行识别并进行分类，根据识别得到的分类信息，确定是否为感兴趣海参，最后通过半全局立体匹配算法得到视差图，进而实现对海参、海胆的定位；利用几何学原理，得到视差图与深度的关系，用公式(11)-(14)表示：/n /n /n /n推导得：/n /n式中：X是目标点F在世界坐标系下的横坐标；Y是目标点F在世界坐标系下的纵坐标；Z是目标点P在世界坐标系下的竖坐标；x_l为目标点F在左摄像机成像平面图像坐标系下的横坐标；y_l为目标点F在左摄像机成像平面的图像坐标系下的纵坐标；c_x为左摄像机成像平面主点在图像坐标系下的横坐标；c_y为左摄像机成像平面主点在图像坐标系下的纵坐标；c_x’为右摄像机成像平面主点在图像坐标系下的横坐标；c_y’为右摄像机成像平面主点在图像坐标系下的纵坐标；b为左、右摄像机基线距离；d＝x_l-y_l为目标点的视差；/nC、利用PID控制方法进行海参抓取/nC1、建立水下机器人运动模型/n首先建立水下机器人两个运坐标系，基于水下机器人公认体系，得到固定坐标系E-ξηζ，其中E为地球上固定一点，Eξ轴由E点指向正南方向，Eη轴由E点垂直向上，Eζ轴由E点指向正东方向；另一坐标系为运动坐标系O-xyz，固定点置于水下机器人本体，本发明将图9中O点取在机器人的重心位置，Ox轴、Oy轴、Oz轴分别由重心O指向水下机器人正前、正右与正下方；此时得到水下机器人由目标固定坐标系到运动坐标系的转换表达式：/n /n /n水下机器人的运动模型与刚体在流体中的运动模型一致，视为沿Ox轴、Oy轴、Oz轴的进退和绕Ox轴、Oy轴、Oz轴的旋转，共包含六个自由度，称为六自由度运动模型；将上述六自由度运动模型进行简化，得到水平面ξEη与垂直面ξEζ上的运动模型；在建立水下机器人运动方程时，假设水下机器人的质心为“运动坐标系”原点，水平面ξEη的运动方程简化为下式：/n /n其中，m代表水下机器人本身质量；I_z代表质量m相对于z轴的转动惯量；u代表水下机器人沿Ox轴进退的速度；v代表水下机器人沿Oy轴进退的速度；p代表水下机器人沿Ox轴旋转的角速度；r代表水下机器人沿Oz轴旋转的角速度；代表沿Ox轴旋转时的角加速度；代表沿Oy轴旋转时的角加速度；代表沿Oz轴旋转时的角加速度；X代表沿Ox轴进退时的力；Y代表沿Oy轴进退时的力；Z代表沿Oz轴进退时的力，K代表沿Ox轴旋转的力矩；N代表沿Oz轴旋转的力矩；/n同样垂直面ξEζ运动方程简化为下式：/n /n其中，w代表水下机器人沿Oz轴进退的速度；q代表水下机器人绕Oy轴旋转的角速度；M代表绕Oy轴旋转的力矩；I_y代表质量m相对于y轴的转动惯量；/nC2、确立水下机器人控制方法/n控制器系统采用PID控制算法输出控制指令，驱动水下机器人的水平推进器(12)与垂直推进器(9)不断接近海参，进而发出抓取指令驱动机械手(8)产生抓取动作；所述的水下机器人包括水下照明灯(1)、双目摄像机(2)、树莓派(3)、Pixhawk飞控(4)、单目摄像机(5)、深度传感器(6)、机械手驱动舵机(7)、机械手(8)、垂直推进器(9)、缆线接头(10)、电池组(11)和水平推进器(12)，所述的机械手(8)上分布32个薄膜式压力传感器(17)；控制器系统核心部件由树莓派(3)与Pixhawk飞控(4)组成；PID控制方程如下式：/n /n其中，u(t)为控制器系统的输出量；K_p为比例系数；T_i为积分时间常数；T_d为微分时间常数；e(t)为控制器系统输出量与输入量之间的偏差；/nC3、海参抓取结果检测/n检测机械手(8)上布置的薄膜式压力传感器(17)所测压强，并与深度传感器(6)所测值对比；若任一薄膜式压力传感器(17)测得压强与深度传感器(6)测得压强之差大于预设值Q，判定抓取成功并结束本工作循环；若32个薄膜式压力传感器(17)测得压强与深度传感器(6)测得压强之差均小于该预设值，控制器系统发出指令使机械手(8)张开，对海参重新识别与定位，进入下一工作循环。/n