[发明专利]基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

权利要求书

1.一种基于仿生视觉的乘梯机器人按键控制方法，其特征在于，所述方法包括：

接收目标按键的点击指示后，结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息；

根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标；

根据目标按键对应的空间坐标控制机械臂移动，以点击目标按键。

2.根据权利要求1所述的基于仿生视觉的乘梯机器人按键控制方法，其特征在于，结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息包括：

根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。

3.根据权利要求2所述的基于仿生视觉的乘梯机器人按键控制方法，其特征在于，根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息包括：

通过RGB摄像头获取包含电梯控制面板的RGB图像；

根据目标检测模型从包含电梯控制面板的RGB图像中定位出机器人视线范围内所有按键的边界框，并根据所有按键的边界框确定所有按键的中心点；

根据预设标志识别模型识别出所有按键的边界框中对应的标志信息；

将标示信息为目标按键的标志信息的按键对应的中心点作为所述目标按键的平面位置信息。

4.根据权利要求1所述的基于仿生视觉的乘梯机器人按键控制方法，其特征在于，在接收目标按键的点击指示之后，在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前，所述方法还包括：

检测目标按键是否在RGB摄像头当前的视线范围内；

若目标按键不在RGB摄像头当前的视线范围内，则判断当前的视线范围内的按键与目标按键之间的位置关系；

根据所述位置关系控制机械臂进行位置的调整；

若目标按键在RGB摄像头当前的视线范围内，则执行结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。

5.根据权利要求4所述的基于仿生视觉的乘梯机器人按键控制方法，其特征在于，所述方法还包括：

每次调整前，判断调整后的位置是否在机械臂对应的安全范围内；

若不在安全范围内，则停止调整，并返回点击失败。

6.根据权利要求5所述的基于仿生视觉的乘梯机器人按键控制方法，其特征在于，所述RGB摄像头与所述深度摄像头为一集成摄像头；所述集成摄像头位于机械臂的末端。

7.一种基于仿生视觉的乘梯机器人按键控制装置，其特征在于，所述装置包括：

确定单元，用于接收目标按键的点击指示后，结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息；

获取单元，用于根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标；

控制单元，用于根据目标按键对应的空间坐标控制机械臂移动，以点击目标按键。

8.根据权利要求7所述的基于仿生视觉的乘梯机器人按键控制装置，其特征在于，确定单元还用于：

根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。

9.一种基于仿生视觉的乘梯机器人，其特征在于，包括RGB摄像头、深度摄像头、机械臂、处理器：

所述RGB摄像头，用于采集包含电梯控制面板的RGB图像；

深度摄像头，用于采集目标按键与深度摄像头的之间的距离信息；

机械臂，用于执行处理器生成的移动和点击的指令；

处理器，用于执行前述权利要求1至6中任一项所述的基于仿生视觉的乘梯机器人按键控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一项所述的基于仿生视觉的乘梯机器人按键控制方法。