[发明专利]基于Kinect的感兴趣区域检测方法

摘要

本发明公开了一种基于Kinect的感兴趣区域检测方法，用于解决现有基于改进显著图模型的感兴趣区域检测方法准确度差的技术问题。技术方案是利用Kinect3D摄像头获取二维RGB图像和深度信息；在此基础上，利用RGB图像提取多种视觉特征并构建多尺度视觉特征图；然后，将特征图与深度图进行融合生成显著图，并利用胜者全取策略生成二值显著图；最后，对二值显著图进行膨胀处理，检测出最终的感兴趣区域。本发明利用Kinect摄像头生成的RGB-D格式的3D图像即可检测出与人眼感知结果一致的感兴趣区域。在相同条件下利用本发明方法自动检测出感兴趣区域的吻合率由背景技术的82.5％提高到91.2％，提高了8.7％。

主权项

一种基于Kinect的感兴趣区域检测方法，其特征在于包括以下步骤：步骤一、利用Kinect3D摄像头和微软提供的应用程序接口，获取RGB‑D格式的3D图像；步骤二、多尺度特征图的计算；包括多尺度图像的生成、灰度特征图的提取、颜色特征图的提取、方向特征图的提取和边缘特征图的提取；多尺度图像的生成：对二维RGB图像中的R、G和B三个通道，在水平方向与垂直方向上分别进行隔行采样，依此形成多尺度R通道图M_R(σ)、多尺度G通道图M_G(σ)和多尺度B通道图M_B(σ)，σ为尺度水平；灰度特征图提取：由某尺度上图像的三个颜色通道的平均值来表征图像在该尺度的灰度特征图：$F_i\left(\mathrm{\σ}\right)=\frac{M_R\left(\mathrm{\σ}\right)+M_G\left(\mathrm{\σ}\right)+M_B\left(\mathrm{\σ}\right)}{3}---\left(1\right)$颜色特征图提取：在某个尺度图像上的颜色特征采用红绿颜色变化值(RG)和蓝黄颜色变化(BY)度量：$\begin{array}{c}{F}_{\mathrm{cRG}}\left(\mathrm{\σ}\right)=\frac{M_R\left(\mathrm{\σ}\right)-M_G\left(\mathrm{\σ}\right)}{\max (M_R\left(\mathrm{\σ}\right),M_G\left(\mathrm{\σ}\right),M_B\left(\mathrm{\σ}\right))},\\ F_{\mathrm{cBY}}\left(\mathrm{\σ}\right)=\frac{M_B\left(\mathrm{\σ}\right)-\min (M_R\left(\mathrm{\σ}\right),M_G\left(\mathrm{\σ}\right))}{\max (M_B\left(\mathrm{\σ}\right),M_R\left(\mathrm{\σ}\right),M_G\left(\mathrm{\σ}\right))}---\left(2\right)\end{array}$其中，max算子表示图像三个通道中的最大值，min算子表示图像三个通道中的最小值；方向特征图提取：对某个尺度上的灰度特征图进行Gabor滤波，在此基础上得到该尺度图像在不同方向上的纹理：$\begin{array}{c}{F}_{\mathrm{dr}}\left(\mathrm{\σ}\right)=\left|\right|I\left(\mathrm{\σ}\right)*G_0\left(\mathrm{\θ}\right)\left|\right|+\left|\right|I\left(\mathrm{\σ}\right)*G_{\mathrm{\π}/2}\left(\mathrm{\θ}\right)\left|\right|,\\ G_{\mathrm{\ψ}}(x,y,\mathrm{\θ})=\exp (-\frac{x^{\′2}+{\mathrm{\γ}}^2{y}^{\′2}}{2{\mathrm{\σ}}^2})\cos (2\mathrm{\π}\frac{x^{\′}}{\mathrm{\λ}}+\mathrm{\ψ})\\ x^{\′}=x\cos \left(\mathrm{\θ}\right)+y\sin \left(\mathrm{\θ}\right),y^{\′}=-x\sin \left(\mathrm{\θ}\right)+y\cos \left(\mathrm{\θ}\right)---\left(3\right)\end{array}$其中，“*”表示卷积运算，G(θ)为Gabor算子，(x,y)表示图像像素的空间坐标，θ表示不同滤波方向的参数，ψ为相位，γ为适应比率，λ为波长；边缘特征提取：对某个尺度上的灰度特征图,用DOG算子检测梯度方向上的变化，以此表示该尺度上的边缘特征图：F_eg(σ)＝I(σ)*DOG(v₁,v₂)$\mathrm{DOG}(v_1,v_2)=\frac{1}{\sqrt{2\mathrm{\π}{v}_1}}\exp [-\frac{x^2+y^2}{2{v_1}^2}]-\frac{1}{\sqrt{2\mathrm{\π}{v}_2}}\exp [-\frac{x^2+y^2}{2{v_2}^2}]---\left(4\right)$其中，v₁、v₂是决定DOG响应曲线坡度的方差，取值越小，则波形变化越剧烈；步骤三、将不同的视觉特征进行归一化并生成二维特征图，然后将视觉特征图与深度图进行融合得到显著图；视觉特征归一化：在融合特征图与深度图之前，将各个特征归一化到范围(a,b)：$F_t\←\frac{F_t-\min \left(F_t\right)}{\max \left(F_t\right)}\×(b-a)+a---\left(5\right)$其中，符号“←”表示替换运算；二维视觉特征图的生成：$U_t=\underset{c1=3}{\overset{5}{\mathrm{\Σ}}}\underset{c2=c1+3}{\overset{c1+4}{\mathrm{\Σ}}}|F_t\left(c1\right)-F_t\left(c2\right)|,F_t\∈\{F_i,F_{\mathrm{cRG}},F_{\mathrm{cBY}},F_{\mathrm{dr}},F_{\mathrm{eg}}\}---\left(6\right)$其中，c1为精细尺度，c2为粗糙尺度；不同的U_t表示灰度、颜色、方向与边缘特征在不同尺度上的差异；深度图的生成：通过Kinect得到的深度信息是空间各点到摄像头所在平面的距离，物理单位为毫米，采用如下方式进行归一化得深度图：D(x,y)＝D_k(x,y)×255/4095      (7)其中，D_k是从Kinect获取的深度信息；显著图由二维视觉特征图U_t与深度图D采用线性相加的方式融合得到：$S=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{U}_t+\mathrm{\β}\·\frac{D}{\max \left(D\right)}---\left(8\right)$其中，T为特征差异图的个数，α_t和β是权重因子,S为融合生成的显著图；步骤四、首先在显著图S中找到全局最大值的空间位置(x_m,y_m)，并利用胜者全取策略得到初步的感兴趣区域：其中，τ是阈值，取值在[0,1]之间；为了防止同一前景目标被分为多个较小的感兴趣区域，对上述感兴趣区域作膨胀运算：Β_d(x,y)＝Β(x,y)⊕B_dil,B_dil为结构元素      (10)其中，“⊕”表示图像形态学运算中的膨胀运算；在B_d(x,y)中取值为1的区域为最终的感兴趣区域。