[发明专利]基于赋范梯度特征与卷积神经网络的水下目标检测方法

摘要

本发明提供了一种基于赋范梯度特征与卷积神经网络的水下目标检测方法，该方法首先利用二值化的赋范梯度特征对水下目标特征进行描述，并通过二值化编码简化特征描述，降低后续分类器计算复杂度；再利用两级级联的排序SVM(Ranking SVM)算法对目标候选窗口进行逐级筛选，提供含有目标可能性较大的候选区域位置，实现对目标的粗略定位。其次，为了能够对目标区域的种类进行判断以及获得目标区域更加准确的位置描述，采用卷积神经网络和SVM分类器对水下目标进行分类并表示出目标属于某个物体类别的得分，最后使用线性回归模型得到每个类别的位置修正后的目标建议窗口。本发明的方法加速了水下目标候选区域的提取速度，提高了算法的准确性。

主权项

1.一种基于赋范梯度特征与卷积神经网络的水下目标检测方法，其特征在于，包括以下步骤：步骤1：实现基于赋范梯度特征的水下目标候选区域提取：步骤1‑1：用矩形将水下目标图像训练数据集中每幅图像包含的目标框定，矩形的上边框与图像的上边缘平行，并与目标在图像中所处区域的最高像素点相交，矩形的下边框与目标在图像中所处区域的最低像素点相交，矩形的左边框与目标在图像中所处区域的最左像素点相交，矩形的右边框与目标在图像中所处区域的最右像素点相交；将该矩形框定的图像区域定义为目标采样窗口；步骤1‑2：将步骤1‑1中得到的目标采样窗口中的目标按照物品种类分类，总类别数记为P；步骤1‑3：在集合{10，20，40，80，160，320}中选取一个数字作为矩形长度，再选取一个数字作为矩形宽度，得到36种尺度的矩形，矩形长度和宽度的单位为像素；采用这36种矩形尺度中的每一种在水下目标图像训练数据集的每幅图像中随机框定N个图像区域，N为预设值，框定的图像区域不能与步骤1‑1中得到的目标采样窗口重叠，将此步骤中得到的图像区域定义为背景采样窗口；步骤1‑4：将步骤1‑1中得到的全部目标采样窗口和步骤1‑3中得到的全部背景采样窗口都按比例缩放成8*8像素的图像；在得到的8*8像素图像四周增加一圈像素，新增的像素灰度值均为0，则8*8像素图像大小变为10*10像素；用一维离散微分模板[‑1，0，1]和[‑1，0，1]^T对所有10*10像素的图像进行卷积操作，卷积操作后的图像大小为8*8像素，并得到卷积操作后图像中每个像素点在水平方向与竖直方向的图像梯度幅值G_x和G_y，x表示像素点横坐标，y表示像素点纵坐标；步骤1‑5：用下式对步骤1‑4中得到的图像梯度幅值G_x和G_y进行归一化，G_xy＝min(|G_x|+|G_y|，255)G_xy为归一化之后每个像素点的图像梯度幅值，G_xy的取值范围为[0，255]之间的整数，再用8位的二进制数表示G_xy；将G_xy用8位二进制数的前N_g位近似表示，表达公式如下所示：式中，N_g为设定的8位二进制数高位的位数，b_k，l为8位二进制数表示的图像梯度幅值的第k位数，k为序号，l＝(h，x，y)是一个三元组，由目标采样窗口和背景采样窗口的长宽比值h以及窗口的位置(x，y)组成；计算得到的G_xy用二进制数表示；步骤1‑6：将步骤1‑4中进行卷积操作后的图像的二值化赋范梯度特征定义为g_l，g_l表示为维度是8*8*8的数字矩阵，维度8*8*8中前面的8*8表示图像中像素点的横坐标和纵坐标，最后的8表示前面8*8所指定的像素点的图像梯度幅值G_xy，该数字矩阵中每个元素的值为0或者1；步骤1‑7：采用Ranking SVM模型，将步骤1‑1中得到的所有目标采样窗口的二值化赋范梯度特征作为正样本，将步骤1‑3中得到的所有背景采样窗口的二值化赋范梯度特征作为负样本，对Ranking SVM模型进行一级训练，得到经过一级训练的Ranking SVM模型w，w∈R⁶⁴；步骤1‑8：采用如下公式将步骤1‑7中得到的w二值化：式中α_j∈{‑1，1}⁶⁴为基向量，其中是二值向量，是的补向量，β_j∈R为相关系数，j为基向量的序号；步骤1‑9：在集合{10，20，40，80，160，320}中选取一个数字作为矩形长度，再选取一个数字作为矩形宽度，矩形长度和宽度的单位为像素，得到36种尺度的矩形；采用这36种矩形在水下目标图像验证数据集的每幅图像中随机框定图像区域，每一种尺度的矩形随机框定S个图像区域，S为预设值；将此步骤中得到的图像区域定义为候选窗口；步骤1‑10：计算候选窗口的二值化赋范梯度特征，采用如下公式对候选窗口的二值化赋范梯度特征进行打分：式中，s_l为w输出排序得分，即该候选窗口含有目标的概率；步骤1‑11：采用步骤1‑10中的方法计算每一幅图像中每个候选窗口的排序得分，然后用非极大值抑制方法将冗余的候选窗口去除，剩余的候选窗口作为目标建议窗口；再根据得分的分值由大到小选取36种矩形尺度下每种尺度前d₁个得分的目标建议窗口，d₁为预设值，每幅图像的目标建议窗口总数设为M，M＝36d₁；再计算所有目标建议窗口与目标采样窗口的重叠度IOU值，将所有目标建议窗口的重叠度IOU值和排序得分作为参数，训练得到二级Ranking SVM模型；步骤1‑12：采用二级Ranking SVM模型对目标建议窗口重新进行打分，计算公式如下：O_l＝Z_r·S_l+t_r其中，O_l为重新打分结果，Z_r为二级Ranking SVM模型中的权重，t_r为二级Ranking SVM模型中的偏差项，r为序号；对目标建议窗口按照新的打分结果由大到小重新排序，得分越靠前的目标建议窗口包含目标的概率越大，即完成水下目标候选区域提取；步骤2：实现基于深度特征的水下目标候选区域位置优化：步骤2‑1：对于水下目标图像测试数据集的一幅图像，经过步骤1得到M个目标建议窗口，如果目标建议窗口的水平方向长度大于竖直方向宽度，则在目标建议窗口的上下边框外分别增加像素点，顺序为先在上边框外增加一行，再在下边框外增加一行，循环执行该顺序直到将目标建议窗口的宽度补到等于长度为止；如果目标建议窗口的竖直方向宽度大于水平方向长度，则在目标建议窗口的左右边框外增加像素点，顺序为先在左边框外增加一行，再在右边框外增加一行，循环执行该顺序直到将目标建议窗口的长度补到等于宽度为止；目标建议窗口的长度或宽度方向增加的像素点的R、G、B值分别等于该目标建议窗口中所有像素点的R、G、B三个值分别进行平均的计算值，则目标建议窗口全部变为正方形，再将目标建议窗口的大小按比例缩放为227*227像素；步骤2‑2：将步骤2‑1中得到的大小为227*227像素的目标建议窗口的像素点的值输入AlexNet卷积神经网络中，经过训练后得到4096维的特征；M个目标建议窗口经过AlexNet卷积神经网络训练后，组合成M*4096维矩阵；步骤2‑3：对于步骤1‑2中得到的目标类别数P，采用SVM分类器分类，得到4096*P维的权值矩阵；将步骤2‑2中得到M*4096维矩阵与4096*P维的权值矩阵相乘，得到M*P维矩阵；该矩阵中的数值表示每个目标建议窗口对应目标类别的得分；步骤2‑4：根据步骤2‑3得到的M*P维矩阵中目标建议窗口对应目标类别的得分，采用非极大值抑制方法将冗余的目标建议窗口去除，剩余的目标建议窗口作为二次目标建议窗口，数量记为Q；步骤2‑5：用X表示任意一个二次目标建议窗口，窗口的位置使用四维向量(x，y，w，h)定义，其中(x，y)表示窗口的中心位置，(w，h)表示窗口的长度和宽度；将窗口X表示为(X_x，X_y，X_w，X_h)，其中(X_x，X_y)表示窗口X的中心位置，(X_w，X_h)表示窗口X的长度和宽度；将窗口X经过下述方法平移和缩放操作后转化为窗口Z：将窗口Z表示为(Z_x，Z_y，Z_w，Z_h)，窗口X到窗口Z水平和垂直方向的平移量定义为(Δx，Δy)，长度和宽度的缩放量定义为(S_w，S_h)，其中：Δx＝X_wd_x(X)Δy＝X_hd_y(X)S_w＝X_wd_w(X)S_h＝X_hd_h(X)d_x(X)，d_y(X)，d_w(X)，d_h(X)为窗口X到窗口Z水平方向平移、垂直方向平移、长度缩放、宽度缩放的线性回归变换函数；则：Z_x＝X_x+Δx＝X_x+X_wd_x(X)Z_y＝X_y+Δy＝X_y+X_hd_y(X)窗口Z即为对窗口A进行线性回归变换后位置优化的结果；步骤2‑6：用Y表示目标采样窗口，将窗口Y表示为(Y_x，Y_y，Y_w，Y_h)，其中(Y_x，Y_y)表示Y的中心位置，(Y_w，Y_h)表示Y的长度和宽度；定义从X到Y水平和垂直方向的平移量为(Δx′，Δy′)，从X到Y长度和宽度缩放量为(S_w′，S_h′)，计算公式如下：其中t_x，t_y，t_w，t_h为中间变量；定义线性回归的损失函数为：其中，i为第i个二次目标建议窗口，表示第i个二次目标建议窗口的t_x，t_y，t_w，t_h值，d_*(Xⁱ)表示对第i个二次目标建议窗口进行平移和缩放的线性回归变换，*表示x，y，w，h中的一个；步骤2‑7：计算所有二次目标建议窗口经过线性回归变换的损失函数值，并对损失函数值由小到大进行排序，损失函数值越小则经过线性回归变换的二次目标建议窗口越接近目标采样窗口，即完成了水下目标候选区域位置优化。