[发明专利]一种基于形态学的近景手势识别方法

摘要

本发明旨在提出一种基于形态学的近景手势识别方法。首先采集RGB彩色图像和深度图像，利用haar特征检测器，获取彩色图中的手部掩码box1；依次根据RGBD对齐原理、一阶差分和阈值处理获得分割后手部区域的RGBD图，并裁剪下感兴趣区域ROI得到手部掩码box3；再对手部掩码box3求解最大内切圆，通过内切圆的几何参数估计掌部大小与掌心位置；设计坐标淘汰机制提取指端区域和指端数N，并根据N的值选择提前训练好的CNN分类模型，对手势进行分类，得到最终手势类型。该方法在识别手部区域过程中特别地设计了一种坐标淘汰机制和一种新型的科学的图像卷积算子，该算子具有旋转不变性，能对近景的复杂手势进行快速识别。

主权项

1.一种基于形态学的近景手势识别方法，通过坐标淘汰机制和具有旋转不变性的图像卷积算子确定手势状态，其特征在于具体包含以下步骤：1）获取手部掩码：采集RGB彩色图像和深度图像，利用haar特征检测器，获取彩色图中的手部掩码box1；2）掩码RGBD配准：根据RGBD对齐原理，将手部掩码box1转化为与RGBD配准后的手部掩码box2；3）去除背景：利用深度信息，对手部掩码box2使用一阶差分阈值处理去除背景，并裁剪下感兴趣区域ROI，获得分割区域中更精确的手部掩码box3；4）初步估计掌心参数：对手部掩码box3求解最大内切圆，获得圆心的坐标（）和半径，即估计的掌心位置与掌部大小；5）投票筛选：对手部掩码box3中的所有坐标使用具有旋转不变性的图像卷积算子进行投票，淘汰非手指区域，初步确定手指区域；6）区域精滤波：当手部掩码box3中所有点都经过一次投票筛选后，所有非手指的区域噪声被剔除，余下的坐标点构成手指上点的集合Q，Q中相邻的像素属于同一连通域region，假设集合Q中的坐标点形成有m个不同的连通域region，这m个region的集合记为Region：Region=,对Region进行结构元为3x3的矩形开运算，过滤掉尺寸较小的区域，此时获得剩余区域Final_Region：Final_Region=，km，其中是对Region进行精滤波后的第k个连通域；7）求解伸展的手指个数：使用Canny算子对精滤波后的区域Final_Region进行边界求取，获得k个闭合边界，组成集合记为集合Contour：Contour=，遍历每个闭合边界上的坐标点（），求取每个闭合边界相对于掌心的最大距离所构成的集合MaxDistances：MaxDistances = ，式中、分别表示第i个边界r上任意点的横坐标和纵坐标，、分别表示手部掩码box3中最大内切圆心的横坐标和纵坐标根据手部伸展开的形态确定手指的伸展状态，取1.5作为区分手指是否伸屈的最佳距离，则MaxDistances中大于1.5的元素个数即为处于伸展状态的手指个数，记为N；8）根据神经网络CNN方法分类，得到最终的手势。