[发明专利]力和扭矩引导的机器人装配技术

说明书

公开用于训练和应用机器学习模型来控制机器人装配的技术。在一些实施方案中，力和扭矩测量值被输入到机器学习模型中，机器学习模型包括引入递归的记忆层。机器学习模型在机器人不可知环境中经由强化学习进行训练，以在给定力和扭矩测量值的情况下生成用于实现装配任务的动作。在训练期间，将经验收集为情节内的过渡，将过渡分组为序列，并且每个情节的最后两个序列具有可变重叠。所收集的过渡存储在经优先级化的序列重放缓冲器中，学习者从经优先级化的序列重放缓冲器中基于过渡和序列优先级对要学习的序列进行采样。一旦经训练，机器学习模型就可被部署来基于由各种类型的机器人的传感器获取的力和扭矩测量值来控制这些机器人以执行装配任务。

相关申请的交叉引用

本申请要求于2020年10月5日提交的标题为“RECURRENT DISTRIBUTEDREINFORCEMENT LEARNING FOR PARTIALLY OBSERVABLE ROBOTIC ASSEMBLY”且序列号为63/087,841的美国临时专利申请的优先权权益。本相关申请的主题据此以引用方式并入本文。

背景技术

公开领域

本公开的实施方案整体涉及机器人技术，并且更具体地涉及力和扭矩引导的机器人装配技术。

相关技术的描述

机器人系统已被广泛用于在可精确控制的制造环境中装配产品和执行任务，这确保在这些环境中操作的机器人能够以可预测和重复的方式执行任务。然而，许多环境(诸如建筑施工现场)并未得到精确控制或无法精确控制，这需要在这些环境中操作的机器人在不同且有时不可预测的情况下执行任务。这些后一种类型的环境在本文被称为“非结构化”环境。

虽然传统的机器人控制技术无法适应非结构化环境中的多样性和不确定性，诸如机器人初始姿态的错位或物理噪声，但基于强化学习的技术已被证明在非结构化环境中更能成功地控制机器人。然而，为了控制机器人在非结构化环境中执行复杂任务，常规的基于学习的技术需要机器人和/或环境中其他对象的姿态作为输入，这些姿态可经由运动捕获或其他跟踪系统直接捕获，或经由基于视觉的系统间接推断。

使用运动捕获或其他跟踪系统的一个缺点是，此类系统难以在许多环境中校准和部署，包括建筑施工现场。使用基于视觉的系统的一个缺点是，在非结构化环境中装配的接触丰富阶段，在此期间装配件通常彼此紧密接触，基于视觉的系统可能会受到遮挡和不良照明条件的负面影响。因此，用于控制机器人的常规的基于学习的技术需要经由运动捕获或其他跟踪系统捕获机器人和/或环境中其他对象的姿态，或经由基于视觉的系统间接推断，具有有限的现实世界实用性。用于控制机器人的常规的基于学习的技术的另一个缺点是，此类技术是机器人特定的，且不能很容易地推广到其他机器人平台。

如上所述，本领域需要的是用于在非结构化环境中控制机器人的更有效的技术。

发明内容

本公开的一个实施方案提出了一种用于控制机器人的计算机实现的方法。该方法包括接收与机器人相关联的传感器数据，其中该传感器数据包括力或扭矩数据中的至少一者。该方法进一步包括对传感器数据应用机器学习模型以生成动作，其中机器学习模型经由强化学习进行训练。此外，该方法包括致使机器人基于动作执行一个或多个移动。

本公开的其他实施方案包括但不限于：计算机可读介质，该计算机可读介质包括用于执行所公开的技术的一个或多个方面的指令；以及计算设备，该计算设备用于执行所公开的技术的一个或多个方面。

所公开的技术相对于现有技术的一个技术优点在于，对于所公开的技术，可训练机器学习模型来控制机器人在非结构化环境中执行装配任务，而不需要机器人和/或环境中其他对象的姿态作为输入，该姿态需要经由运动捕获或其他跟踪系统捕获，或经由基于视觉的系统间接推断。此外，对于所公开的技术，在训练期间学习的策略是机器人不可知的，这使得这些策略能够用于控制各种类型的机器人。这些技术优势提供了优于现有技术方法的一个或多个技术进步。

附图说明