[发明专利]一种基于形态学的近景手势识别方法

权利要求书

1.一种基于形态学的近景手势识别方法，通过坐标淘汰机制和具有旋转不变性的图像卷积算子确定手势状态，其特征在于具体包含以下步骤：

1)获取手部掩码：采集RGB彩色图像和深度图像，利用haar特征检测器，获取彩色图中的手部掩码box1；

2)掩码RGBD配准：根据RGBD对齐原理，将手部掩码box1转化为与RGBD配准后的手部掩码box2；

3)去除背景：利用深度信息，对手部掩码box2使用一阶差分阈值处理去除背景，并裁剪下感兴趣区域ROI，获得分割区域中更精确的手部掩码box3；

4)初步估计掌心参数：对手部掩码box3求解最大内切圆，获得圆心的坐标(x₀,y₀)和半径r₀，即估计的掌心位置与掌部大小；

5)投票筛选：对手部掩码box3中的所有坐标使用具有旋转不变性的图像卷积算子进行投票，淘汰非手指区域，初步确定手指区域；

6)区域精滤波：当手部掩码box3中所有点都经过一次投票筛选后，所有非手指的区域噪声被剔除，余下的坐标点构成手指上点的集合Q，Q中相邻的像素属于同一连通域region，假设集合Q中的坐标点形成有m个不同的连通域region，这m个region的集合记为Region：

Region＝{region₁,region₂…region_m}，

对Region进行结构元为3x3的矩形开运算，过滤掉尺寸较小的区域，此时获得剩余区域Final_Region：

Final_Region＝{region′₁，region′₂,…,region′_k}，k≤m，

其中region′_k是对Region进行精滤波后的第k个连通域；

7)求解伸展的手指个数：使用Canny算子对精滤波后的区域Final_Region进行边界求取，获得k个闭合边界，组成集合记为集合Contour：

Contour＝{contour₁,contour₂…contour_k}，

遍历每个闭合边界上的坐标点(x′,y′)，求取每个闭合边界相对于掌心的最大距离所构成的集合MaxDistances：

式中x′_i、y′_i分别表示第i个边界contour上任意点的横坐标和纵坐标，x₀、y₀分别表示手部掩码box3中最大内切圆心的横坐标和纵坐标

根据手部伸展开的形态确定手指的伸展状态，取1.5r₀作为区分手指是否伸屈的最佳距离，则MaxDistances中大于1.5r₀的元素个数即为处于伸展状态的手指个数，记为N；

8)根据神经网络CNN方法分类，得到最终的手势。