[发明专利]一种基于RGB-D相机的视障人士纸币识别眼镜

摘要

本发明公开了一种基于RGB‑D相机的视障人士纸币识别眼镜，包括眼镜本体、RGB‑D相机、处理器和语音模块，RGB‑D相机获取待识别图像，处理器提取像素，然后用分类器找到匹配区域作为感兴趣区域，并对感兴趣区域提取SURF特征点与标准纸币图像的SURF特征点匹配，匹配的点对数量反映了感兴趣区域与标准纸币的相似性，输出匹配点对数量最多的作为纸币识别结果并反馈给视障人士，根据匹配点对数量也可分析出无纸币的情况。该纸币识别方法在纸币的四种朝向以及有尺寸的变化，小角度的旋转，光照环境的改变等情况下依然有良好的鲁棒性和识别正确率，可以识别多张纸币，能有效适用于实际应用，具有良好的实时性。

主权项

1.一种基于RGB‐D相机的视障人士纸币识别眼镜，其特征在于，所述眼镜包含眼镜本体、RGB‐D相机、处理器、语音模块；所述RGB‐D相机、处理器、语音模块均安装在眼镜本体上，其中，RGB‐D相机安装在眼镜本体的前部，用于采集含有深度信息的彩色图像，处理器、语音模块均嵌入式安装在眼镜本体的镜脚内，处理器用于图像处理识别纸币的面值，语音模块将处理结果反馈给视障人士，识别过程如下：(1)获取纸币识别结果范围内的标准纸币中n个不同面值的正反面图像，共2n幅；将2n幅图像的尺寸进行归一化处理，得到2n幅标准纸币图像；分别遍历每幅标准纸币图像的SURF特征点，并生成相应的描述特征点的描述子；(2)获取纸币正面分类器和纸币反面分类器；用RGB‐D相机获取不同光照条件下的正样本和负样本；所述正样本是只含有完整纸币的彩色图像，将正样本的尺寸进行归一化处理；正样本分为两类，纸币正面的正样本和纸币反面的正样本；负样本是指不含有纸币的彩色图像，将负样本转化成灰度图；提取纸币正面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币正面分类器；同理，提取纸币反面正样本和负样本的Haar特征，并利用Adaboost算法形成纸币反面分类器；(3)用RGB‐D相机获取包含深度信息的待测彩色图像，将待测彩色图像中深度值在0.3～0.8米范围内的像素保留RGB彩色信息，其余像素设置为白色；(4)将步骤2中纸币正面分类器和纸币反面分类器对步骤3中深度值处理后的待测彩色图像进行处理，找到分类器的匹配区域，并用长度是宽度2倍的矩形框出分类器的匹配区域，该匹配区域即为感兴趣区域；(5)提取步骤4得到的感兴趣区域的SURF特征点，并生成相应的描述特征点的描述子；(6)将步骤5中的感兴趣区域的SURF特征点分别和步骤1中的2n幅标准纸币图像的SURF特征点匹配，具体步骤如下：(6.1)通过正向、反向两种方式筛选相同匹配点对；所述正向筛选方式为：针对标准纸币图像中的每个SURF特征点Q，利用KNN算法找到其在感兴趣区域中欧氏距离最近与次近的两个SURF特征点P1、P2，得到两个正向匹配点对(Q\P1、Q\P2)；计算Q\P1和Q\P2的欧氏距离，分别为D1、D2；欧氏距离的计算公式如下，其中，Dij表示感兴趣区域中的第i个特征点与标准图像中的第j个特征点间的欧氏距离，Xik表示感兴趣区域中的第i个特征点描述子的第k维分量，Xjk表示标准图像中的第j个特征点描述子的第k维分量，n表示SURF特征点的生成的描述子的维数；然后，计算最近欧氏距离D1与次近欧氏距离D2的比值Ratio1＝D1/D2，Ratio1的值越小，则匹配点对的质量越高；设置欧氏距离比值阈值Ratio，将Ratio1小于Ratio的特征点对Q\P1作为正向筛选方式中的有效匹配点对，从而可以得到正向筛选方式中有效匹配点对集合；所述反向筛选方式为：针对感兴趣区域中的每个SURF特征点P，利用KNN算法找到其在标准纸币图像中欧氏距离最近与次近的两个SURF特征点Q1、Q2，得到两个反向匹配点对(P\Q1、P\Q2)；计算P\Q1和P\Q2的欧氏距离，分别为D3、D4；然后，计算最近欧氏距离D3与次近欧氏距离D4的比值Ratio2＝D3/D4，Ratio2小于欧氏距离比值阈值Ratio的特征点对P\Q1为反向筛选方式中的有效匹配点对，从而可以得到反向筛选方式中有效匹配点对集合；(6.2)找到步骤6.1正向筛选方式和反向筛选方式中两两相互匹配的有效匹配点对，作为优质匹配点对；(6.3)将步骤6.2得到的优质匹配点对用RANSAC算法进一步移除不合理的匹配点对；RANSAC算法利用随机选择的优质匹配点对计算得到标准纸币图像和感兴趣区域转换的基本矩阵，并将不符合基本矩阵的异常点排除；(7)分别统计步骤6中感兴趣区域与2n幅标准纸币图像SURF特征点匹配的优质匹配点对数目R1,R2,…,R2n，计算Rk＝MAX[R1,R2,…,R2n]；设置优质匹配点对数目阈值R，若Rk大于R，则第k幅标准纸币图像对应的面值为识别结果；否则，判定为无纸币；(8)将步骤7中的结果通过语音模块反馈给视障人士。