[发明专利]一种基于KNN和像素比梯度特征的静态手语识别方法

摘要

本发明公开一种基于KNN和像素比梯度特征的静态手语识别方法。该方法包括：步骤1：拍摄彩色图像；步骤2：基于图像的颜色特征对图像进行二值化；步骤3：基于图像的形状特征定位手的位置，并分割出来；步骤4：对分割后的图像进行归一化；步骤5：提取图像的像素比和梯度特征作为图像的特征向量；步骤6：计算输入的特征向量与标准手语图像特征库的欧氏距离；步骤7：基于KNN算法确定最佳匹配结果；步骤8：将识别结果输出。本发明结合了图像颜色特征、形状特征和像素比梯度特征，并且利用了KNN算法来进行特征匹配，提高了识别率和对不同环境的适应性，而且算法相对较简单，复杂度低，系统运行速度快，设备成本低廉。

主权项

1.一种基于KNN和像素比梯度特征的静态手语识别方法，其特征在于，包括以下步骤：步骤S101：拍摄彩色图像；步骤S102：对图像进行二值化；步骤S103：定位手的位置并分割；步骤S104：对分割后的图像归一化；步骤S105：提取图像的像素比和梯度特征；步骤S106：计算输入的特征向量与标准手语图像特征库的加权欧式距离；步骤S107：基于KNN确定最佳匹配结果；步骤S108：输出识别结果；步骤S101中，做手语者需要戴上一副蓝色的手套，在基于计算机视觉的手势识别技术中，复杂背景下的手势分割非常困难，这主要是由于背景各种各样，环境因素也不可预测，不仅没有成熟的理论作为指导，而且现有的方法实现困难，计算复杂度高，效果也不是很理想；采用增加限制的方法，即戴上一副蓝色的手套，这可以大大减小手势分割的难度，利用颜色检测，就可以很容易定位分割出手势部分；另外，为了方便以后应用到可穿戴式设备上，摄像时将摄像头放在做手语者胸前往前拍摄；是利用颜色特征对图像进行二值化具体包含以下步骤：步骤S201：计算彩色图像每个像素点的RGB值；步骤S202：通过像素点的RGB值判断其颜色是否为蓝色；步骤S203：将步骤S202中判断为蓝色的像素点的RGB都赋为255，其他像素点的RGB值赋为0，得到二值化图像；判断一个像素点是否为蓝色的准则如下：(1)像素点s的R、G、B值中B的值最大；(2)B值应大于50；(3)由于区域为明显的蓝色，所以R、G、B的方差应大于350；其中，RGB的方差VAR的公式为：式中，由于做手语者戴了蓝色手套，经过上述二值化过程后，手区域大部分像素点灰度值为255，即为白色像素点，有利于后续的定位与分割；利用形状特征对手区域进行定位和分割具体包含以下步骤：步骤S301：对二值化图像进行一次膨胀，在光线较弱的环境下，蓝色手套上的褶皱区域不符合步骤S202中的判断准则，将被二值化为黑色像素点，从而导致手区域轮廓的断裂，因此需要膨胀图像以连接断裂区域，促进后续的定位；步骤S302：遍历图像中的所有轮廓，用一个最小矩形将轮廓区域框出，计算矩形区域的长和宽，判断该区域是否为手部区域；由于拍摄时摄像头在做手语者的胸前，手区域的大小必定在某一范围内，可以通过这一条件筛选出轮廓中的手区域；步骤S303：将判定为手区域的轮廓分割出来；具体筛选准则为：1.包围轮廓的最小矩形的长度满足：len_min手语图像特征库的某个模板的特征向量为则它们之间的加权欧氏距离计算公式如下：步骤S107基于KNN算法来确定最佳匹配结果；对步骤S106中计算出的加权欧式距离序列进行排序，找出最小的二十个，分别对应二十个模板，每个模板都对应某个手语字母，由此就得到20个字母，取其中出现次数最多的字母作为识别的结果；步骤S108以文字的形式输出识别结果。