[发明专利]基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

说明书

本申请公开了一种基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人，本申请的方法包括接收目标按键的点击指示后，结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息；根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标；根据目标按键对应的空间坐标控制机械臂移动，以点击目标按键。本申请是为了解决现有的控制电梯按钮方案流程复杂，影响机器人执行任务的效率问题。

技术领域

本申请涉及可移动机器人应用技术领域，具体而言，涉及一种基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人。

背景技术

随着数字化和智能化技术在各个领域的深入发展，服务机器人市场保持快速的需求增长模式，应用于运输、修理、安防、救援、监护、交互等广泛的应用领域。在不同的应用领域都有可能存在需要机器人独自乘梯的需求。比如，对于运输机器人，在其给写字楼中的职员配送餐饮的过程中，会涉及独自乘坐电梯。再比如，对于救援机器人，在其在多层的建筑中执行救援任务时，会涉及独自乘坐电梯。独自乘坐电梯，需要机器人可以控制电梯按钮，实现到达目的楼层的功能。

发明人发现现有的机器人可以控制电梯按钮的方案，大都需要改装电梯，安装电梯模块，机器人通过和电梯模块无线通信，控制电梯。如果无法改装电梯，就无法实现，非常不便。针对上述现有的控制电梯按钮方案存在的问题，也出现了一些解决方案，主要是为机器人增加机械臂，摄像头装置，实现的原理为，机器人进入电梯后进行盲扫，扫描到电梯控制面板后，在控制面板上进行S形扫描，扫描到目标按钮后，重新进行多次的识别检测确认目标按钮在摄像头的视野中心后，控制机械臂执行按键的操作。发明人发现，上述方式虽然不需要对电梯进行改装，但是流程比较复杂，影响机器人执行任务的效率。

发明内容

本申请的主要目的在于提供一种基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人，解决现有的控制电梯按钮方案流程复杂，影响机器人执行任务的效率问题。

为了实现上述目的，根据本申请的第一方面，提供了一种基于仿生视觉的乘梯机器人按键控制方法。所述方法包括：

接收目标按键的点击指示后，结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息；

根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标；

根据目标按键对应的空间坐标控制机械臂移动，以点击目标按键。

可选的，结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息包括：

根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。

可选的，根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息包括：

通过RGB摄像头获取包含电梯控制面板的RGB图像；

根据目标检测模型从包含电梯控制面板的RGB图像中定位出机器人视线范围内所有按键的边界框，并根据所有按键的边界框确定所有按键的中心点；

根据预设标志识别模型识别出所有按键的边界框中对应的标志信息；

将标示信息为目标按键的标志信息的按键对应的中心点作为所述目标按键的平面位置信息。

可选的，在接收目标按键的点击指示之后，在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前，所述方法还包括：

检测目标按键是否在RGB摄像头当前的视线范围内；

若目标按键不在RGB摄像头当前的视线范围内，则判断当前的视线范围内的按键与目标按键之间的位置关系；

根据所述位置关系控制机械臂进行位置的调整；