[发明专利]用于物体检测或机器人交互规划的方法和系统

说明书

提出了用于物体检测或机器人交互规划的方法和系统。该系统可以被配置为：接收第一图像信息，该第一图像信息表示相机的视野中的物体的物体结构的至少第一部分，其中该第一图像信息与第一相机姿势相关联；基于第一图像信息生成或更新表示物体结构的感测结构信息；标识与物体结构相关联的物体角；使机械臂将相机移动到第二相机姿势，在该第二相机姿势中相机被指向该物体角；接收与第二相机姿势相关联的第二图像信息；基于第二图像信息更新感测结构信息；基于更新后的感测结构信息，确定与所述物体相关联的物体类型；基于物体类型确定一个或多个机器人交互位置。

本申请是申请日为2020年12月9日、题为“基于由相机生成的图像信息执行物体检测或机器人交互规划的方法和计算系统”的发明专利申请202080005101.1的分案申请。

对相关申请的交叉引用

本申请要求2019年12月12日提交的题为“ROBOTIC SYSTEM WITH GRIPPINGMECHANISM”的第62/946,973号美国临时申请的权益，该美国临时申请的全部内容通过引用并入本文中。

技术领域

本公开涉及基于由相机生成的图像信息来执行物体检测或机器人交互的规划的方法和计算系统。

背景技术

随着自动化变得更加普遍，机器人正在更多环境中使用，诸如在仓储和零售环境中。例如，机器人可以被用于与仓库中的商品或其他物体进行交互。机器人的移动可以是固定的，或者可以基于输入，诸如由仓库中的传感器生成的信息。

发明内容

本公开的一个方面涉及一种由计算系统执行的用于执行物体检测的方法。在一些情况下，计算系统可以包括具有使计算系统执行该方法的指令的非暂时性计算机可读介质。在实施例中，计算系统可包括通信接口和至少一个处理电路。通信接口被配置为与以下进行通信：通信接口，通信接口被配置为与以下各项进行通信：(i)机器人，机器人具有机械臂和末端执行器装置，末端执行器装置布置在机械臂的一端处或者形成机械臂的一端；以及(ii)相机，相机安装在机械臂上并具有相机视野。至少一个处理电路被配置为当物体处于相机视野中时执行以下操作：接收表示与物体相关联的物体结构的至少第一部分的第一图像信息，其中第一图像信息是当相机处于第一相机姿势时由相机生成的，在第一相机姿势中相机被指向物体结构的第一部分；基于第一图像信息生成或更新表示与物体相关联的物体结构的感测结构信息；基于感测结构信息标识与物体结构相关联的物体角；输出一个或多个相机放置移动命令，一个或多个相机放置移动命令当由机器人执行时，使机械臂将相机移动到第二相机姿势，在第二相机姿势中相机被指向该物体角；接收用于表示物体结构的第二图像信息，其中第二图像信息是当相机处于第二相机姿势时由相机生成的；基于第二图像信息更新感测结构信息，以生成更新后的感测结构信息；基于更新后的感测结构信息，确定与物体相关联的物体类型；基于物体类型确定一个或多个机器人交互位置，其中一个或多个机器人交互位置是用于末端执行器装置与物体之间的交互的一个或多个位置；以及输出用于在一个或多个机器人交互位置处引起交互的一个或多个机器人交互移动命令，其中一个或多个机器人交互移动命令是基于一个或多个机器人交互位置而生成的。

附图说明

图1A至图1D示出了根据本文的实施例的用于处理图像信息的系统。

图2A至图2D提供了示出根据本文的实施例的被配置用于接收和处理图像信息和/或执行物体检测的计算系统的框图。

图3A和图3B示出了根据本文的实施例的具有用于执行机器人交互的机械臂和末端执行器装置的环境。

图4示出了示出根据本文的实施例的用于生成运动规划的示例方法的流程图。

图5A至图5C示出了根据本文的实施例的生成用于表示相机视野中的物体的图像信息的各个方面。

图6示出了根据本文的实施例的基于图像信息的感测结构信息。

图7示出了根据本文的实施例的标识物体角的方面。