[发明专利]面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法

权利要求书

1.一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法，其特征在于，包括如下步骤：

S1、获取琴键彩图和与其对齐的深度图，对琴键彩图进行预处理得到二值化图；

S2、对二值化图进行背景粗过滤，粗定位获得琴面候选区域；

S3、基于二值化图采用区域生长算法获取白键面区域图像，并提取白键面上下轮廓边界线，对粗定位的琴面候选区域进行修正，得到修正后的琴面候选区域；

S4、基于修正后的琴面候选区域获得定位点集合；

S5、提取深度图中白键区域的深度信息，将该深度信息进行拟合得到白键平面，基于定位点集合和白键平面获得定位点集合在平面上对应的定位点的点云信息；

S6、利用点云匹配算法将定位点的点云信息和琴键模版点云信息进行匹配，获得琴键定位点在相机坐标系下的坐标。

2.根据权利要求1所述的面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法，其特征在于，所述步骤S2中对琴面候选区域进行粗定位具体包括如下子步骤：

S2.1、考虑图像中琴面候选区域存在倾斜角度，采用一旋转直线对二值化图全图进行遍历；记录该直线上像素黑白变化的个数；

S2.2、对像素黑白变化的个数进行排序，得到像素黑白变化个数最多的直线；自定义设置最小黑白像素突变数目阈值，使该直线在其垂线方向上下滑动，寻找小于黑白突变个数阈值的边界线，得到黑键上边界线和黑键下边界线；

S2.3、以步骤S2.2得到的黑键下边界线作为初始直线，继续在其垂线方向上，向下滑动，自定义设置白色像素阈值，计算白色像素占比，当白色像素占比小于白色像素阈值时，将此时的滑动曲线作为琴面白键下边界线；

S2.4、分别以黑键上边界线和白键下边界线两条线作为边界框的上下边界，对二值化图像中不属于边界框内的像素点全部置为黑色，获得背景粗过滤图像，完成琴面候选区域粗定位。

3.根据权利要求2所述的面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法，其特征在于，所述旋转直线为通过点斜率为k的曲线；

其中， ；，图像划分为 行，列，m为正数；斜率k为。

4.根据权利要求2所述的面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法，其特征在于，在步骤S3中，修正琴面候选区域的具体步骤如下：

S3.1、采用Sobel算子对步骤S2得到的经粗定位的琴面候选区域图进行边缘检测；

S3.2、从边缘检测图中提取边界线段，并且计算线段梯度自定义设置梯度阈值，保留与S2中获得的像素黑白变化个数最多的直线斜率绝对值差小于梯度阈值的线段，作为线段集合；

S3.3、利用随机抽样一致性算法对线段集合进行线段分类，将同一直线上的线段分为一类，利用最小二乘法对同一类线段进行直线拟合；保留与黑键上边界线和黑键下边界线最近的两条直线，得到黑键精准的上下边界线，更新黑键上边界线和黑键下边界线；

S3.4、在黑键下边界线上抽样选取一些白色像素的点作为种子点集合，利用该种子点集合进行区域生长，生长出白键面；重复步骤S2.3更新白键区域下边界线；根据琴面边界线和白键面获得修正后的键面候选区域图。

5.根据权利要求1所述的面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法，其特征在于，在步骤S4中，定位点集合包括琴面边界点和黑键边界端点，获得定位点集合的像素坐标的具体步骤如下：

S4.1、采用Sobel算子对修正后的琴面候选区域图进行边缘检测，基于相机内参，获得黑键的边缘线集合；

S4.2、根据黑键长度提取琴面左右边界线，将琴面左右边界线与黑键上边界线、黑键下边界线的交点作为琴面的边界定位点；

S4.3、计算琴面边缘线和黑键下边界线的交点，获得黑键的边界点集合，将步骤S4.2得到的琴面的边界定位点和黑键的边界点集合作为定位点集合。