[发明专利]一种基于深度强化学习的多模融合机器人缝制方法及系统

说明书

本发明公开了一种基于深度强化学习的多模融合机器人缝制方法及系统，包括：分别获取缝制过程中的织物状态图像信息、线迹状态图像信息以及织物张力状态信息；构造并训练机器人的缝制操作技能学习网络，将采集到的缝制过程中的状态信息输入到所述缝制操作技能学习网络中，输出机械臂的关节角度，以控制机械臂动作。本发明将图像信息与力觉信息融合，共同表示缝制过程中织物状态，从而对机器人的动作表示更加准确。机器人通过学习掌握操作技能可以主动适应环境的变化，训练结果具有泛化能力，从而实现不同织物的自主缝制操作。

技术领域

本发明涉及工业机器人技术领域，尤其涉及一种基于深度强化学习的多模融合机器人缝制。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

柔性织物材料处理是近年来机器人操作技能领域最具挑战性的问题之一。除了面临刚性材料处理时几何不确定，避障等问题外，柔性织物材料本身各项异性以及非均匀性都为机器人缝制操作行为带来困难。现有机器人缝制系统大多通过机器视觉对待缝制织物进行几何建模，通过视觉伺服控制机器人完成缝制动作，一旦织物发生形变，会对操作产生较大影响。

此外，机器人协同缝制系统的交互信息多来自单一传感器，数据片面，信息量有限，且受环境噪声影响大。

发明内容

有鉴于此，本发明提出了一种基于深度强化学习的多模融合机器人缝制方法及系统，基于深度强化学习框架，融合视觉力觉模态信息，可以提高机器人自主操作柔性织物的决策能力。

为了实现上述目的，在一些实施方式中，采用如下技术方案：

一种基于深度强化学习的多模融合机器人缝制方法，包括：

分别获取缝制过程中的织物状态图像信息、线迹状态图像信息以及织物张力状态信息；

构造并训练机器人的缝制操作技能学习网络，所述缝制操作技能学习网络包括策略网络和评价网络；所述策略网络的输入为织物状态图像信息和织物张力状态信息，输出为机械臂的动作值；所述评价网络的输入为织物状态图像信息和机械臂动作值，输出为Q函数值；

将采集到的缝制过程中的状态信息输入到所述缝制操作技能学习网络中，输出机械臂的关节角度，以控制机械臂动作。

在另一些实施方式中，采用如下技术方案：

一种基于深度强化学习的多模融合机器人缝制系统，包括：

状态感知模块，用于分别获取缝制过程中的织物状态图像信息、线迹状态图像信息以及织物张力状态信息；

融合决策模块，用于对状态感知模块获取的信息处理为机器人缝制操作技能学习网络的输入，并将网络输出的机械臂缝制动作作用于缝制环境模块；

缝制环境模块，用于接收并执行机械臂动作，同时将变化的指缝制环境中织物的状态图像与织物张力信息反馈给状态感知模块。

在另一些实施方式中，采用如下技术方案：

一种机器人控制器，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于深度强化学习的多模融合机器人缝制方法。

一种机器人，包括机器人控制器，所述机器人控制器采用上述的基于多模字典控制策略的机器人缝制方法，实现对织物的缝制。

与现有技术相比，本发明的有益效果是：

本发明结合深度强化学习方法提供了一种解决机器人操作柔性形变物体的方案。