[发明专利]一种基于ROS的模块化手部区域检测方法和装置

权利要求书

1.一种基于分层结构和可变形部分模型的手部区域检测方法，包括以下步骤：

步骤1：建立手势图片库；

手势图片库包含：y名测试者，预定义x种手势种类，每种手势分别在三种距离下拍摄，三种距离分别为照相机距被拍摄人d₁、d₂和d₃，每个人同种距离拍摄三次，分别使人在图像中央、左边和右边，在n种环境下拍摄；

步骤2：从输入的手势图像中检测并分割出人体上半身区域；

首先，对提取的图像进行双边滤波，然后提取脸部、脖子、肩膀、胳膊肘和手部的Haar小波特征，使用Viola-Jones检测器，级联分类器训练得到人体上半身模型，然后使用训练好的人体上半身模型检测人体上半身区域；

步骤3：建立肤色模型，提取人体上半身图像中的类肤色区域；

步骤4：通过删除二值图中的小面积区域、空洞填充等形态学操作和最小连通区域的长宽比和面积阈值从原始RGB图像分割出类肤色区域；

步骤5：将原始图像分割出类肤色区域进行尺寸归一化，提取方向梯度直方图特征，使用支持向量机，建立手部检测模型，然后使用训练好的手部模型检测手部区域。

2.根据权利要求1所述的一种基于分层结构和可变形部分模型的手部区域检测方法，所述的步骤3中具体为：

采用RGB-YCbCr显式阈值和高斯模型，建立肤色模型具体包括：

(1)使用RGB颜色空间显式阈值，检测肤色区域；

提取所建手势库的手部肤色区域，读取肤色像素值，像素点RGB三通道间的关系为：

$\begin{array}{c}{r}_R^L=min\left(p_R\right)\\ r_G^L=min\left(p_G\right)\\ r_B^L=min\left(p_B\right)\end{array}---\left(1\right)$

$\begin{array}{c}{r}_R^U=\max \left(p_R\right)\\ r_G^U=\max \left(p_G\right)\\ r_B^U=\max \left(p_B\right)\end{array}---\left(2\right)$

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为提取手部肤色样本R,G,B三通道的最小值；分别为提取手部肤色样本R,G,B三通道的最大值；

$\begin{array}{c}{r}_{R-G}^L=min(p_R-p_G)\\ r_{R-B}^L=min(p_R-p_B)\\ r_{G-B}^L=min(p_G-p_B)\end{array}---\left(3\right)$

$\begin{array}{c}{r}_{R-G}^U=\max (p_R-p_G)\\ r_{R-B}^U=\max (p_R-p_B)\\ r_{G-B}^U=\max (p_G-p_B)\end{array}---\left(4\right)$

其中，p_R,p_G,p_B分别为某一像素点R,G,B三通道的像素值；分别为手部肤色样本R-G,R-B,G-B通道差值的最小值；分别为手部肤色样本R-G,R-B,G-B通道差值的最大值；

肤色模型在RGB颜色空间的阈值为：

$\begin{array}{c}{\mathrm{Th}}_R^L=\max \left(\begin{array}{cc}{r}_R^L,& 95\end{array}\right)\\ {\mathrm{Th}}_G^L=\max \left(\begin{array}{cc}{r}_G^L,& 40\end{array}\right)\\ {\mathrm{Th}}_B^L=\max \left(\begin{array}{cc}{r}_B^L,& 20\end{array}\right)\\ {\mathrm{Th}}_{R-G}^L=\max \left(\begin{array}{cc}{r}_{R-G}^L,& 30\end{array}\right)\\ {\mathrm{Th}}_{G-B}^L=\max \left(\begin{array}{cc}{r}_{G-B}^L,& 10\end{array}\right)\\ {\mathrm{Th}}_{R-G}^U=\min \left(\begin{array}{cc}{r}_{R-G}^U,& 80\end{array}\right)\\ {\mathrm{Th}}_{G-B}^U=\min \left(\begin{array}{cc}{r}_{G-B}^U,& 80\end{array}\right)\\ {\mathrm{Th}}_{R-B}^U=\min \left(\begin{array}{cc}{r}_{R-B}^U,& 120\end{array}\right)\end{array}---\left(7\right)$

在RGB颜色空间的肤色像素点S_rgb(r,g,b)满足以下要求：

$\begin{array}{c}{\mathrm{Th}}_R^L\≤r\left(r\right)\≤r_R^U\∩\\ {\mathrm{Th}}_G^L\≤r\left(g\right)\≤r_G^U\∩\\ {\mathrm{Th}}_B^L\≤r\left(b\right)\≤r_B^U\∩\\ {\mathrm{Th}}_{R-G}^L\≤r(r-g)\≤{\mathrm{Th}}_{R-G}^U\∩\\ {\mathrm{Th}}_{G-B}^L\≤r(g-b)\≤{\mathrm{Th}}_{G-B}^U\∩\\ {\mathrm{Th}}_{R-B}^L\≤r(r-g)\≤{\mathrm{Th}}_{R-B}^U\end{array}---\left(8\right)$

其中，r(r,g,b)为某像素在RGB色彩空间的值；

(2)使用YCbCr显式阈值检测肤色；

针对YCbCr，其中Y是亮度分量，Cb是指蓝色分量，Cr指红色色度分量，YCbCr色彩空间由RGB色彩空间经下式矩阵变换得到：

$\left(\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.168& -0.331& 0.5\\ 0.5& -0.418& -0.081\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(9\right)$

肤色区域在YCbCr颜色空间满足的阈值为：

(80≤Cb≤120)∩(133≤Cr≤173)(10)

由经公式(9)得到其中，分别为提取手部肤色样本Y,Cb,Cr分量的最小值；分别为提取手部肤色样本Y,Cb,Cr分量的最大值；

$\begin{array}{c}{\mathrm{Th}}_{Cb}^L=\max \left(\begin{array}{cc}{r}_{Cb}^L,& 80\end{array}\right)\\ {\mathrm{Th}}_{Cr}^L=\max \left(\begin{array}{cc}{r}_{Cr}^L,& 133\end{array}\right)\\ {\mathrm{Th}}_{Cb}^U=\min \left(\begin{array}{cc}{r}_{Cb}^U,& 120\end{array}\right)\\ {\mathrm{Th}}_{Cr}^L=\min \left(\begin{array}{cc}{r}_{Cr}^L,& 173\end{array}\right)\end{array}---\left(11\right)$

在YCbCr色彩空间，满足肤色条件的区域S_ycbcr(cb,cr)满足下式的条件，

$\begin{array}{c}{\mathrm{Th}}_{Cb}^L\≤c(x,y)\≤{\mathrm{Th}}_{Cb}^U\∩\\ {\mathrm{Th}}_{Cr}^L\≤c(x,y)\≤{\mathrm{Th}}_{Cr}^U\end{array}---\left(12\right)$

其中，分别为肤色像素在YCbCr颜色空间，Cb通道的最低阈值，最高阈值，Cr通道的最低阈值，最高阈值；c(cb,cr)为某像素在YCbCr色彩空间中Cb,Cr分量的值；

(3)建立高斯肤色模型进行肤色检测

具体包括以下两个步骤：

步骤a：获取构造手势图片库中的手部肤色样本，利用公式(9)，将肤色像素从RGB转换到YCbCr色彩空间后，并对其进行统计分析，通过椭圆高斯联合概率密度函数(pdf)，贝叶斯最大似然估计得到高斯模型的均值μ(μ_cb μ_cr)和协方差∑(∑_cb ∑_cr)；

椭圆高斯联合概率密度函数如下所示：

$p\left(c\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{1/2}|\mathrm{\Σ}{|}^{1/2}}\exp (-\frac{1}{2}{\left(c-\mathrm{\μ}\right)}^T{\left(\mathrm{\Σ}\right)}^{-1}(c-\mathrm{\μ}\left)\right)---\left(13\right)$

其中，c为肤色向量，μ为均值向量，∑为协方差矩阵；

$\begin{array}{c}\mathrm{\μ}=\frac{1}{n}\underset{j=1}{\overset{n}{\Σ}}{c}_j\\ \mathrm{\Σ}=\frac{1}{n-1}\underset{j=1}{\overset{n}{\Σ}}(c_j-\mathrm{\μ}){(c_j-\mathrm{\μ})}^T\end{array}---\left(14\right)$

其中，

$\begin{array}{c}\mathrm{\μ}=\mathrm{\μ}\left(\begin{array}{cc}{\mathrm{\μ}}_{cb}& {\mathrm{\μ}}_{cr}\end{array}\right)\\ \mathrm{\Σ}=\mathrm{\Σ}\left(\begin{array}{cc}{\mathrm{\Σ}}_{cb}& {\mathrm{\Σ}}_{cr}\end{array}\right)\end{array}---\left(15\right)$

步骤b：计算所给像素点与肤色相似的程度，即肤色似然度，得到待检测图像的最大肤色似然度，两者的比值即为肤色概率值，由此得到肤色似然图，再对肤色似然图进行阈值化，将肤色区域分割出来；

根据建立的高斯肤色模型，计算待测矢量c(Cb,Cr)与肤色的似然度D(Cb,Cr)，计算公式如下：

D(Cb,Cr)＝exp[-0.5(c-μ)^T∑^-1(c-μ)] (16)

相似度D计算出来后，得到待检测图像的最大肤色似然度，两者的比值为肤色概率值，由此，可得到肤色似然图，再对其阈值化后得到肤色图像的二值图；

肤色模型中的肤色区域S_skin为满足肤色高斯模型S_g(Cb,Cr)、YCbCr显式阈值S_ycbcr(cb,cr)和RGB显式阈值S_rgb(r,g,b)的交集，即

S_skin＝S_g(Cb,Cr)∩S_ycbcr(cb,cr)∩S_rgb(r,g,b) (18)

如果某区域同时满足RGB显示阈值、YCbCr显式阈值和肤色高斯模型，则认为该区域是肤色区域；

满足肤色模型的区域进入步骤4，对其进行形态学处理；不满足要求的图像，不进行处理。