[发明专利]面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法

说明书

本发明公开了一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法。首先获得彩图和深度图并预处理；接着对彩图进行背景粗过滤，获得琴面候选区域；之后采用区域生长算法获取白键区域，再提取白键面上下轮廓边界线，获得琴键定位点集合；然后利用白键区域的深度图信息进行白键面拟合，获得定位点对应的点云信息；最后采用点云配准算法获得所有定位点在相机坐标系下的坐标。另外，通过定位检测得到的坐标，基于点云变换矩阵判断琴键位置是否存在异常。本发明方法在不同干扰环境下，仍然能快速检测定位钢琴琴键位置，并且通过定位结果判断琴键是否移动等异常状态，对仿人钢琴演奏机器人的臂爪定位有更好的鲁棒性和安全性。

技术领域

本发明属于计算机视觉领域，尤其涉及一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法。

背景技术

随着机器人在各行各业的应用越来越广泛，更具智能意识的机器人开始出现替代人类完成一些机械重复性任务，尤其是在工业领域流水线生产工作上等。面向家庭、公共等场景下，艺术领域的机器人也渐渐出现在人类的视野中，例如弹琴机器人。目前，弹琴仿人机器人作为最接近人类的机器人，需要具备更高的智能实现弹琴这任务。弹琴机器人的智能性主要体现在机器人能够自主定位所需要弹的琴键位置，能够看谱弹琴，能够移动自身适应弹奏曲目等。因此，机器人的视觉系统非常重要，利用机器人的视觉系统对钢琴琴键进行定位，从而实现机械臂爪移动到准确的位置进行弹奏是弹琴机器人的基本任务之一。

为了实现琴键定位任务，其中一种实现方案是利用标记物定位，例如在目标琴键上贴二维码等标记物，但是，基于机器人本体视觉传感器获得的图像由于视角畸变问题会存在琴键键盘不完整情况，而且在机器人弹奏过程中，由于手臂、手爪的遮挡，导致标记物无法检测的问题。另外一种实现方案是利用深度神经网络训练相关数据集获得模型，利用模型识别图像中的琴键位置。然而，琴键中键与键的特征并没有明显差异，但是对应弹奏的琴音确有很大差异，因此该方法无法定位指定的琴键。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法。

本发明的目的是通过以下技术方案来实现的：

本发明实施例的第一方面提供了一种面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法，包括如下步骤：

S1、获取琴键彩图和与其对齐的深度图，对琴键彩图进行预处理得到二值化图；

S2、对二值化图进行背景粗过滤，粗定位获得琴面候选区域；

S3、基于二值化图采用区域生长算法获取白键面区域图像，并提取白键面上下轮廓边界线，对粗定位的琴面候选区域进行修正，得到修正后的琴面候选区域；

S4、基于修正后的琴面候选区域获得定位点集合；

S5、提取深度图中白键区域的深度信息，将该深度信息与白键平面进行拟合得到白键平面，基于定位点集合和白键平面获得定位点集合在平面上对应的定位点的点云信息；

S6、利用点云匹配算法将定位点的点云信息和琴键模版点云信息进行匹配，获得琴键定位点在相机坐标系下的坐标。

进一步地，所述步骤S2中对琴面候选区域进行粗定位具体包括如下子步骤：

S2.1、考虑图像中琴面候选区域存在倾斜角度，采用一旋转直线对二值化图全图进行遍历；记录该直线上像素黑白变化的个数；

S2.2、对像素黑白变化的个数进行排序，得到像素黑白变化个数最多的直线；自定义设置最小黑白像素突变数目阈值，使该直线在其垂线方向上下滑动，寻找小于黑白突变个数阈值的边界线，得到黑键上边界线和黑键下边界线；