[发明专利]一种基于多级特征信道优化编码的图像轮廓检测方法

摘要

本发明涉及一种基于多级特征信道优化编码的图像轮廓检测方法。本发明针对输入图像I(x,y)，首先基于相似度指标获取Gabor滤波器的最优尺度mopt和方向θopt，并将mopt和θopt作为NSCT的频率分离参数；然后将经过NSCT得到的轮廓子图与I(x,y)进行特征增强融合，实现对I(x,y)的初级轮廓检测；最后针对性地设计全卷积神经网络，包括由不同尺度FCN‑32s、FCN‑16s、FCN‑8s网络单元构成的特征编解码器，利用特征编码器的卷积与池化模块实现网络参数的主动学习，利用特征解码器的反卷积与上采样模块得到与I(x,y)对应的图像轮廓掩模图，实现多级特征信道的优化编码，完成图像轮廓的高效准确检测。

主权项

1.一种基于多级特征信道优化编码的图像轮廓检测方法，其特征在于，该方法具体包括以下步骤：步骤1:获取输入图像I(x,y)的初级轮廓响应；首先计算输入图像I(x,y)的Gabor滤波器响应，结果记为如式(1)～(4)所示；式中：表示图像I(x,y)经过Gabor滤波器在尺度m，方向θ＝nπ/K上得到的Gabor特征信息；σ_x,σ_y分别表示Gabor小波基函数沿x轴和y轴的标准偏差；ω为高斯函数的复调制频率；以ψ(x,y)为母小波，通过对其进行尺度和旋转变换，得到Gabor滤波器ψ_m,n(x,y)；其中，u,v是ψ_m,n(x,y)的模板尺寸；m＝0,...,S‑1，n＝0,...,K‑1，S和K分别表示尺度数和方向数；α为ψ(x,y)的尺度因子，式中：α＞1；基于相似度指标SSIM，计算Gabor滤波器对应的最优尺度m_opt和方向θ_opt，如式(5)～(8)所示；其中表示滤波器响应与已知的轮廓标记图像I^mark之间的相似度，当取极大值时，获得最优尺度m_opt和方向θ_opt；和分别表示与I^mark之间在亮度、对比度和结构上的定量相似性度量；u_Gabor、u_mark分别表示图像和I^mark的亮度均值，δ_Gabor、δ_mark分别表示图像和I^mark的亮度标准差，分别表示图像和I^mark的亮度方差，δ_G,m代表图像和I^mark的亮度协方差；为了避免由于式(6)～(8)中的各项分母接近零值时所引起的系统不稳定，C₁、C₂和C₃设置为某个正常数，小于滤波器响应亮度均值的3％；将m_opt和θ_opt作为NSCT的频率分离参数，NSCT对图像I(x,y)分解得到轮廓子图由于NSCT分解过程尺寸保持不变，因此将与I(x,y)直接进行像素级的特征增强融合操作，最终获得输入图像I(x,y)的初级轮廓响应E(x,y)，如式(9)和(10)所示；式中，表示尺度m_opt和方向θ_opt参数条件下的非下采样轮廓波变换，表示对应的NSCT轮廓子图；t表示轮廓子图的亮度均值；max表示取最大值函数，下同；步骤2：将步骤1获得的初级轮廓响应E(x,y)，传输至全卷积神经网络，获得分别由FCN‑32S、FCN‑16S、FCN‑8S网络单元训练得到的热图F⁵，F⁴，F³；全卷积神经网络分为特征编码器和特征解码器两部分，整个网络包含8个卷积块，5个最大池化层，5个上采样和2个卷积层；具体结构如下：1.特征编码器以VGG‑16作为基础网络进行全卷积神经网络的优化改造；为实现网络计算速度的提高，增强泛化能力，在卷积块(3×3、1×1、3×3)结构中，每两个3×3的卷积核中加入1×1卷积核；为加强学习图像特征的非线性和平移不变性，每层卷积模块后面加入最大池化层；同时E(x,y)经过池化层Max pool5处理后，尺寸变成I(x,y)的1/32，记为表示经过FCN‑32S网络单元训练后输出的特征图；E(x,y)经过池化层Max pool4和卷积层1×1，尺寸变成I(x,y)的1/16，记为表示经过FCN‑16S网络单元训练后输出的特征图；同理，E(x,y)经过池化层Max pool3和卷积层1×1，尺寸变成I(x,y)的1/8，记为表示经过FCN‑8S网络单元训练后输出的特征图；其中每个池化层输出利用Relu激活函数实现稀疏编码功能；特征编码器包括如下十三层结构，其中步长stride均为1：第一层，卷积层CONV1‑1，通道个数8，卷积核大小3×3；CONV1‑2，通道个数8，卷积核大小为3×3；第二层，最大池化层Max pool1，池化区域大小为2×2；第三层，卷积层CONV2‑1，通道个数16，卷积核大小为3×3；CONV2‑2，通道个数16，卷积核大小为1×1；CONV2‑3，通道个数16，卷积核大小为1×1；第四层，最大池化层Max pool2，池化区域大小为2×2；第五层，卷积层CONV3‑1，通道个数32，卷积核大小为3×3；CONV3‑2,通道个数32，卷积核大小为1×1；CONV3‑3，通道个数32，卷积核大小为3×3；第六层，最大池化层Max pool3，池化区域大小为2×2；第七层，卷积层CONV4‑1，通道个数64，卷积核大小为3×3；CONV4‑2，通道个数64，卷积核大小为1×1；CONV4‑3，通道个数64，卷积核大小为3×3；第八层，最大池化层Max pool4，池化区域大小为2×2；第九层，卷积层CONV5‑1，通道个数128，卷积核大小为3×3；CONV5‑2，通道个数128，卷积核大小为1×1；CONV5‑3，通道个数128，卷积核大小为3×3；第十层，最大池化层Max pool5，池化区域大小为2×2；第十一层，卷积层CONV6，通道个数256，卷积核大小为1×1；第十二层，卷积层CONV7，通道个数256，卷积核大小为1×1；第十三层，卷积层CONV8，通道个数1，卷积核大小为1×1；2.特征解码器初级轮廓响应E(x,y)经过特征编码不断缩小为原来的1/8，1/16，1/32，获得的特征图分辨率低，因此加入特征解码器，对低分辨率的特征图进行双线性上采样操作；对于经过32倍下采样的图像利用32倍双线性上采样得到与I(x,y)一样大小的热图，记为F⁵；在池化层Max pool4后加入调节特征图像通道个数的预测卷积层1×1，输出得到图像同时把32倍下采样的图像进行两倍上采样，所得结果与对应元素相加，再利用16倍双线性上采样得到与I(x,y)一样大小的热图，记为F⁴；在池化层Max pool3后加入调节特征图像通道个数的预测卷积层1×1，输出得到图像同时把16倍下采样的图像进行两倍上采样，所得结果与对应元素相加，再利用8倍双线性上采样得到与I(x,y)一样大小的热图，记为F³；步骤3：对步骤2获得的热图F⁵，F⁴，F³，利用max函数取各像素上的最大像素值，融合得到图像轮廓掩模图F，再经过Relu激活函数作用，与已知的轮廓标记图像I^mark进行损失运算，结果记为loss，并采用随机梯度下降，不断迭代更新各个网络层的参数，当loss值小于阀值ε时训练结束，ε设为训练图像样本像素总数的1～3％，获得训练后的全卷积神经网络；步骤4：将待检测图像经过步骤1～3所构建的Gabor滤波器、非下采样轮廓波变换以及训练后的全卷积神经网络，得到图像轮廓掩模图，与待检测图像进行点乘操作，最终获得图像轮廓检测结果。