[发明专利]一种用于软式自主空中加油的仿鹰眼运动目标定位方法

摘要

本发明是一种用于软式自主空中加油的仿鹰眼运动目标定位方法，其实施步骤为：步骤一：仿鹰视顶盖细胞响应计算；步骤二：仿鹰核团纹理抑制与显著图提取；步骤三：颜色阈值分割；步骤四：感兴趣区域提取；步骤五：锥套标志点坐标获取；步骤六：标识点匹配；步骤七：摄像机参数标定；步骤八：加油锥套位姿测量；本发明提出的用于软式自主空中加油的仿鹰眼运动目标定位方法能够准确提取无人机软式加油过程中的加油锥套，准确确定加油锥套位置，该方法具有较高的准确性和鲁棒性。

主权项

1.一种用于软式自主空中加油的仿鹰眼运动目标定位方法，其特征在于：从鹰的视觉系统处理机制出发，结合鹰脑核团之间的相互作用模拟鹰的视觉注意机制，提取加油锥套所在的大致区域，然后使用颜色分割对锥套区域进行特征提取，进而使用位姿估计算法测量加油锥套和受油机视觉系统之间的相对位置信息；该方法的具体步骤如下：/n步骤一：仿鹰视顶盖细胞响应计算/n建立有效的仿鹰视顶盖细胞编码机制，模拟鹰视顶盖细胞编码的有效性和稀疏性，从图像中获取方向和边缘信息，对于任意一幅图像I均通过一系列图像基B_k的线性组合进行表示：/n /n其中图像基B_k从自然图像中训练得到，这是自然图像之间存在的共有信息，a_k是图像基B_k所对应的系数，该系数具有稀疏性，且由以下公式求出：/n /n其中，C_k称为编码滤波器，是图像基B_k的逆或者伪逆；利用该滤波器对任意一幅图像进行滤波操作，则得到视顶盖细胞的响应，且该响应会呈现稀疏性，即大部分的响应值为0，只有少部分的响应值不为0，此响应与关于视顶盖细胞的生理学研究结果吻合；/n软式空中加油场景下背景区域对应的鹰眼视顶盖细胞响应是相似的，而加油锥套区域的细胞响应与背景区域不同；细胞响应是由输入图像和感受野共同决定的，而视顶盖细胞的感受野对方向和边缘信息具有选择性；某个感受野对应的细胞响应越大说明图像块对应的方向和边缘信息与该感受野的选择性相吻合；使用最大响应及其对应的感受野描述该图像块的信息；同样的，背景区域的最大响应很相似而加油锥套区域的细胞响应与之有差异；同时背景区域平坦，边缘信息不明显，导致其对应的细胞响应并不会在某一个感受野上出现大于其他感受野的现象；相反，在加油锥套区域存在丰富的边缘信息，且目标区域有方向性，其对应的细胞响应经常会出现在某一个感受野上高于其他感受野；因此，使用每个图像块的最大响应来描述该图像块是加油锥套区域的概率；/n步骤二：仿鹰核团纹理抑制与显著图提取/n鹰的视觉系统中各细胞感受野之间存在侧抑制作用，当有刺激输入时，中心细胞会受到周围细胞的抑制作用，该抑制作用表现为对增强算法的抗干扰能力，还考虑了背景区域的纹理一致性；当某个图像块与其周围图像块的纹理一致性较强时认为该图像块是背景区域的概率较大，因此对其赋以较大的纹理抑制系数进行抑制；反之，当该图像块与周围图像块的纹理一致性较弱时说明该图像块是加油锥套区域的概率较大，对其赋以较小的纹理抑制系数；纹理一致性计算方法是基于灰度共生矩阵的方法，灰度共生矩阵定义如下：待分析的图像水平方向有N_x个像素，垂直方向y上有N_y个像素的，图像的灰/n度级为G，设X＝{1,2,...,N_x}表示图像的水平方向的像素坐标，/nY＝{1,2,...,N_y}表示图像垂直方向上的像素坐标，N＝{0,1,...,G}为量化后的灰度级，则原图像表示成一个由水平与垂直坐标到灰度级的映射函数f:X×Y→N；图像中某个方向上相隔一定距离的一对像素灰度的统计规律反映该图像的纹理特性，使用一个矩阵来描述每个像素对的灰度统计规律，则得到灰度共生矩阵，表示为W；/n图像中任意一点(x,y)与某个与它距离一定长度的像素点(x+a,y+b)形成一个像素点对，设该像素点对的灰度值为(i,j)，即像素点(x,y)的灰度值为i，像素点(x+a,y+b)的灰度值为j；固定a和b，令点(x,y)在整幅图像上移动，则会得到各种(i,j)值；假如图像的灰度级数为G，则i与j的组合共有G²种；在整幅图像中，统计每一种出现的频度为P(i,j,d,θ)，则称方阵[P(i,j,d,θ)]_G×G为灰度共生矩阵，即[P(i,j,d,θ)]_G×G；灰度共生矩阵是两个像素点的联合直方图，距离差分值(a,b)取不同的数值组合，得到图像沿一定方向θ，相隔一定距离的灰度共生矩阵；/n设置a＝b＝2，θ＝[0°,45°，90°，135°]，量化后的灰度等级为8，故灰度共生矩阵是一个8*8*4的矩阵；灰度共生矩阵能够反映图像灰度关于方向、相邻间隔、变化幅度信息；为分析图像的局部模式和排列规则并不会直接使用得到的灰度共生矩阵，而是在其基础上获取二次统计量；在获取灰度共生矩阵的特征参数之前，要作正规化处理，利用下式进行正规化处理：/nP(i,j,d,θ)＝P(i,j,d,θ)/R (3)/n其中，R是正规化常数，是灰度共生矩阵中全部元素之和；/n二次统计量有对比度和熵，其中对比度定义如下：/nW₁＝∑∑[(i-j)²×P²(i,j,d,θ)] (4)/n对比度是W₁阵中关于主对角线的惯性矩，它度量了矩阵值的分布情况和图像的局部变化；W₁的值越大说明纹理对比越强烈，图像越清晰，纹理效果越明显；/n熵定义如下：/nW₂＝-∑∑P(i,j,d,θ)×log₁₀P(i,j,d,θ) (5)/n熵代表了图像的信息量是图像内容随机性的度量，能表征纹理的复杂程度；当图像无纹理时熵为0，满纹理时熵最大；为了计算图像的纹理抑制系数，采用在每个像素周围进行两个不同窗口大小的采样，对采样得到的两个图像块分别计算其灰度共生矩阵；然后利用计算公式(3)得到正规化后的灰度共生矩阵；利用灰度共生矩阵分别计算其二次统计量，然后计算两个二次统计量之间的距离，该距离描述了某一个图像块与其周围图像块的纹理一致性；如果两个二次统计量之间的距离越大则说明该图像块与周围区域的纹理存在较大差异，故其纹理抑制系数应赋以较小的值；反之若两个二次统计量之间的距离较小则说明该图像块与周围区域的纹理较为相似，此时该图像块对应的纹理抑制系数应较大；使用每个图像块对应两个灰度共生矩阵的二次统计量之间的距离作为其纹理抑制系数，然后将纹理抑制系数的倒数作为纹理增强系数与图像每个图像块对应的最大响应相乘得到图像的显著图，显著度最大值对应的区域即为锥套区域；使用仿鹰眼显著图提取得到的显著图滤除部分背景信息，为后续的处理减少计算量；/n步骤三：颜色阈值分割/n设计的验证平台中，加油锥套区域为红色圆环；使用圆环表示加油锥套区域，在圆环上粘贴绿色和蓝色的标识用于视觉定位；最上面一个点为蓝色，作为第一个标识点，依次对各点进行编号，其余点为绿色；仿鹰眼显著图提取获得包含锥套的大致区域，在显著图提取的基础上，对显著区域进行颜色阈值分割，以得到更加精确的锥套区域；相比于RGB即红-绿-蓝颜色空间，HSV即色相-饱和度-亮度颜色空间在颜色表达上更加符合人类的颜色感知方式，把色彩分解成人眼中不对称的三个分量：色相、饱和度和亮度；HSV颜色空间的三个分量更加直观的表达色彩的明暗、色调以及鲜艳程度；在显著图提取的基础上，利用H即色相、S即饱和度两个通道对图像进行阈值分割，得到包含锥套的红色物体的区域，将分割之后的图像二值化，得到分割二值图；/n步骤四：感兴趣区域提取/n由于阈值分割提取到的区域是不完整的，且包含噪声，为了得到原图的感兴趣区域，首先对第一次HSV阈值分割得到的二值图进行形态学操作，并提取每个红色区域的外部轮廓；第r个区域的轮廓点集为q_r，其中第r个区域的第m个轮廓点的图像坐标为对每个区域轮廓点的图像坐标的两个维度进行排序计算，得到每个区域轮廓点坐标的最大值和最小值，从而获得每个区域的外接矩形，作为ROI即Region of Interest区域，表示为/nROI^r＝(u^r,v^r,w^r,h^r)，u^r和v^r分别表示ROI矩形区域左上角顶点的图像坐标，w^r和h^r分别表示该矩形区域的宽度和高度，从而唯一确定了每个区域的外接矩形；/n图像中的红色区域在图像中所占像素比例很小，对提取到的ROI进行进一步的处理时，占用的计算资源远小于对原图进行操作，从而达到了提高计算速度的目的；由于设计的加油锥套中红色区域内包含绿色和蓝色的标识点，在红色阈值分割得到的二值图中锥套区域会出现孔洞；因此在ROI提取的同时，对轮廓区域的孔洞进行填充；加油锥套是一个圆环，为了防止内环区域也被填充，对分割得到的每个红色区域里面的每个空洞面积进行判断，对超出面积阈值的轮廓不填充，从而得到正确的红色ROI；/n步骤五：锥套标识点坐标获取/n锥套区域粘贴了蓝色和绿色的圆形标识点，当锥套与受油机距离接近时，根据每个ROI是否包含蓝色和绿色圆片判断此区域是否为锥套区域；对每个ROI区域分别进行蓝色通道和绿色通道的HSV阈值分割，判断红色区域中是否包含蓝色或绿色的圆片，从而剔除出非目标的红色干扰物体，找到锥套感兴趣区域；/n检测到锥套区域后，对圆形标识点的中心点进行提取；首先，将灰度图像使用连续等步长的阈值分割为二值图集合，若分割阈值范围为[T₁,T₂]，步长为t，则所有阈值为：T₁，T₁+t，T₁+2t，…，T₂；其次，提取每幅二值图的边界，检测其连通区域，并提取出二值图连通区域的中心图像坐标；再次，统计所有二值图的连通区域中心坐标，若不同二值图的连通区域中心距离小于一个阈值，则这些二值图斑点同属于一个灰度图像斑点；最后，确定灰度图像斑点的图像坐标和尺寸；斑点在灰度图像中的坐标位置通过所有对应的二值图斑点中心坐标加权求得，如计算公式(6)所示，q_r为第r个二值图斑点的惯性率，因此二值图斑点形状越接近圆形，它对灰度图像斑点位置的贡献就越大；灰度图像斑点的尺寸则为所有二值图斑点的半径长度中值；/n /n在二值图的斑点提取过程中，通过限定斑点的形状、面积和颜色来滤除杂点；由于锥套上的标识点为圆形，因此通过设定斑点的面积阈值和圆度阈值，滤除杂点；每一个斑点对应加油锥套上的一个红色圆环内的绿色或蓝色标识点；在标识点提取过程中，输入图像为HSV阈值分割后的图像，不需要将图像进行二值化，直接对输入图像进行连通区域检测，并根据圆度和面积阈值滤除掉非圆杂点，输出每个标识点的中心图像坐标；/n步骤六：标识点匹配/n在进行位姿测量前，还需确定提取到的图像坐标点与实际圆形标识点的一一对应关系，通过步骤五提取方法得到蓝色标识点和绿色标识点的图像坐标，但是无法对不同编号的标识点进行区分，因此，采用特征点匹配算法来解决特征点的对应问题；/n采用以下方法对特征点进行标识：设绿色圆形标识点为第一个点，在成像平面上离第一个标识点欧氏距离最近的蓝色点为第二个标识点；除第一个标识点外，与第二个标识点距离最近的点为第三个标识点，以此类推，将所有标识点进行编号；/n步骤七：相机参数标定/n制作一个黑白棋盘格标定板，每个格子的边长为已知值；利用视觉传感器对棋盘格进行不同角度和不同纵深的拍摄，这样减少标定误差得到更加准确的相机内参；在标定实验中，用相机对不同角度的棋盘格分别采集图像，提取到每个标定图像棋盘格的角点之后，计算相机模型，由于镜头畸变小，只考虑相机的镜像畸变，利用MATLAB 2015a工具箱对相机进行标定后得到相机的内参和畸变系数；/n步骤八：加油锥套位姿测量/n针对软式空中加油问题，相机安装在受油机的某一位置上；为获取加油锥套相对于受油口的相对位置，利用标识点位置信息及相机成像模型来进行相对位置解算；采用基于鲁棒位姿测量算法进行加油锥套位姿测量，通过建立一个七阶多项式作为代价函数来得到鲁棒位姿测量算法问题的解。/n