[发明专利]功能可供性获知、多分辨率、自由形式的对象操纵规划

说明书

本公开涉及功能可供性获知、多分辨率、自由形式的对象操纵规划。系统、装置和方法可以提供通过以下操作来控制一个或多个末端执行器：基于图像数据生成经语义标注的图像来，其中，经语义标注的图像用于标识对象的形状和对象的语义标签；将第一动作集合与对象相关联；并且基于第一动作集合和第二动作集合的交集生成规划，以通过一个或多个末端执行器的致动来满足来自用户的命令，其中，第二动作集合与命令相关联。

技术领域

实施例总体上涉及末端执行器。具体而言，实施例涉及动态环境中的机器人的末端执行器的控制。

背景技术

机器人能够自主地执行作业以完成某些目标。例如，人可以指示机器人执行作业，并且机器人然后可以在没有监督的情况下执行作业。随着作业的复杂度增大和环境的可变性增加，机器人在以可靠性和可信性执行作业时可面临增加的困难。此外，动态环境可给机器人带来困难的分析。例如，对象可能移动并且具有不规则的形状，使得交互困难。

发明内容

本公开一方面提供了一种增强的对象操纵规划的计算系统。该计算系统包括：一个或多个传感器，用于生成传感器数据，传感器数据包括图像数据；耦合到一个或多个传感器的处理器；以及存储器，该存储器包括可执行程序指令的集合，指令当由处理器执行时使得计算系统：基于来自传感器数据的图像数据生成经语义标注的图像，其中，经语义标注的图像用于标识对象的形状和对象的语义标签；将第一动作集合与对象相关联；并且基于第一动作集合和第二动作集合的交集生成规划，以通过一个或多个末端执行器的致动来满足来自用户的命令，其中，第二动作集合与命令相关联。

本公开另一方面提供了一种半导体装置。该半导体装置包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中，逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：基于图像数据生成经语义标注的图像，其中，经语义标注的图像用于标识对象的形状和对象的语义标签；将第一动作集合与对象相关联；并且基于第一动作集合和第二动作集合的交集生成规划，以通过一个或多个末端执行器的致动来满足来自用户的命令，其中，第二动作集合与命令相关联。

本公开另一方面提供了一种与计算系统相关联的增强的对象操纵规划的方法。该方法包括：基于图像数据生成经语义标注的图像，其中，经语义标注的图像用于标识对象的形状和对象的语义标签；将第一动作集合与对象相关联；以及基于第一动作集合和第二动作集合的交集生成规划，以通过一个或多个末端执行器的致动来满足来自用户的命令，其中，第二动作集合与命令相关联。

本公开另一方面提供了一种半导体设备。该半导体设备包括：用于基于图像数据生成经语义标注的图像的装置，其中，经语义标注的图像用于标识对象的形状和对象的语义标签；用于将第一动作集合与对象相关联的装置；以及用于基于第一动作集合和第二动作集合的交集生成规划以通过一个或多个末端执行器的致动来满足来自用户的命令的装置，其中，第二动作集合与命令相关联。

附图说明

通过阅读以下说明书和所附权利要求书，并且通过参考以下附图，实施例的各种优点对于本领域技术人员将变得清晰可见，其中：

图1是根据实施例的环境分析和机器人末端执行器控制过程的示例的处理流程图；

图2是根据实施例的控制末端执行器的方法的示例的流程图；

图3A和3B是根据实施例的场景分割过程的示例的处理流程图；

图4是根据实施例的对运动学末端执行器进行建模的示例的处理流程图；

图5是根据实施例的规划任务的示例的处理流程图；

图6是根据实施例的分析和表示环境的方法的示例的流程图；

图7是根据实施例的对末端执行器进行分类的方法的示例的流程图；

图8是根据实施例的任务规划方法的示例的流程图；