[发明专利]基于Kinect传感器的静态手语字母识别系统及方法

摘要

本发明涉及计算机视觉及智能人‑机交互领域，具体涉及一种基于机器视觉的人‑机交互系统及其交互方法。本发明结合Kinect传感器提出一种基于改进的SURF算法进行静态手语字母识别的方法。Kinect传感器采集目标区域的深度图像进行手像素区域分割可以克服光照变化、复杂背景带来的干扰；改进的SURF算法用于提取特征点，同时设置自适应半径r，在以r为半径的邻域内通过比较特征点个数、特征点间距2个指标来对SURF特征点进行逐级筛选，不仅大大提高了识别率，而且保证了识别工作在肤色、光照变化、复杂背景等环境因素以及角度变化和尺度变化方面的鲁棒性。为了克服SURF特征向量维数较高的问题，采用SVM的“一对一”分类法，对SURF特征描述符进行分类训练，得出识别的结果。

主权项

基于Kinect传感器的静态手语字母识别方法，其特征在于：包括如下步骤：1)利用摄像模块的Kinect传感器获取深度图像；2)利用图像预处理模块，将摄像模块获取的深度图像进行初步的降噪处理；利用手像素区域分割模块，通过二值化方法对获得的深度图像进行手像素区域分割，使得手部区域成为感兴趣区域；3)利用静态手语特征提取模块，采用SURF算法提取特征点；同时采用特征点筛选算法对SURF算法的计算结果进行优化，剔除错误特征点；4)利用静态手语识别模块，对生成的64维的SURF特征点描述符，采用“一对一”SVM分类法，进行分类训练，得出识别的结果；所述特征点筛选算法为：设实时图像和模板图像分别为I、I′，其特征点集分别为C＝{C1,C2,…Cn}、C′＝{C1′,C2′,…Cn′}，其对应的一对匹配特征点对为P、P′，其中P∈C，P′∈C′，在半径为r的邻域内，若两幅图像只存在平移和旋转，则应该满足以下结论：1)邻域特征点总个数相同，即以P为中心，以r为半径的邻域内特征点总个数，应等于以P′为中心，以r为半径的领域内特征点总个数；2)对应特征点的间距相同；设Ci,Cj∈C，Ci′,Cj′∈C′，Ci、Ci′是对应的一对特征点，Cj、Cj′也是对应的特征点，则Ci与Cj的距离值应当和Ci′与Cj′的距离值应相等，即d(Ci，Cj)＝d(Ci′，Cj′)；基于以上原理，根据以下步骤来剔除错误的特征点：1)定义一个自适应半径r，若在以当前r为半径的邻域内，特征点个数少于2个，则将r的值提高一倍后再计算特征点个数；若在以当前r为半径的邻域内，特征点个数大于2个，则进行下面两个步骤；2)计算以匹配点对P、P′为中心，半径为r的邻域内特征点的个数，若特征点的个数相同，则P是正确的特征点，否则，P是错误的特征点，需要进行剔除；3)计算该特征点与其邻域内其他特征点的距离，通过这一参数限制进一步剔除错误特征点：设P、P′是已满足邻域特征点总数相等这个条件，假设在以r半径的邻域内特征点个数为n，则将P、P′到其邻域内其他特征点的距离按照降序排列统计后分别记为D1＝{d1,d2,…dn}和D2＝{d1′,d′2,…d′n}，若D1与D2的偏差在允许的范围内，则认为P是正确的特征点，否则不匹配。