[发明专利]基于强化学习的微零件精密装配方法、装置和系统

说明书

本发明属于控制技术，具体涉及了一种基于强化学习的微零件精密装配方法、装置和系统，旨在解决现有装配技术效率低适用性差的问题。本发明包括：实时获取微零件的图像和力传感器信息，先通过微零件的图像进行位姿对准，再基于力传感器信息通过基于强化学习的装配模型完成装配。所述基于强化学习的装配模型，通过构建力的雅可比矩阵获取专家动作并通过强化学习框架获取改进动作，将专家动作和改进动作相加获得最终动作，基于最终动作通过本发明特有的回合‑单步动态探索策略完成装配并获取基于强化学习的装配模型，本发明提高了操作的便捷度，还提高了模型的训练效率和精密装配效率同时提高了微零件精确装配方法的适用性。

技术领域

本发明属于控制技术领域，具体涉及了一种基于强化学习的微零件精密装配方法、装置和系统。

背景技术

近年来，微操作和微装配获得了更加广泛的关注，并广泛应用于机器人、生物医学和芯片制造等方面。在微装配中，通常需要将两个或者多个球装配到一起，如何高效地完成微零件的精密装配存在挑战。

在精密装配领域，存在一些精密装配方法。有的采用了基于力反馈的方式，通过不断调整零件的相对位置，完成装配(可参见文献：S.Liu,D.Xu,D.P.Zhang and Z.T.Zhang,“High precision automatic assembly based on microscopic vision and forceinformation”,IEEE Transactions on Automation Science and Engineering,vol.13,no.1,pp.382-393,2016.)。但其调整策略是预先设定的，效率较低。有的通过对零件接触状态建模的方式，实现两个柔性零件装配(可参见文献：D.P.Xing,Y.Lv,S.Liu,D.Xu andF.F.Liu,“Efficient insertion of multiple objects parallel connected bypassive compliant mechanisms in precision assembly”,IEEE Transactions onIndustrial Informatics,vol.15,no.9,pp.4878-4887,2019.)。但是，零件间的接触状态通常难以精确建模，因此这种方法的适用性不高。

发明内容

为了解决现有技术中的上述问题，即现有的精密零件装配方法需要预先设定调整策略，并且难以精确地对零件的接触状态精确建模导致的现有技术装配效率不高并且适用性较差的问题，本发明提供了一种基于强化学习的微零件精密装配方法，包括：

步骤S100，实时获取第一微零件的显微视觉图像、第二微零件的显微视觉图像和力传感器信息；

步骤S200，基于第一微零件的显微视觉图像、第二微零件的显微视觉图像，完成第一微零件和第二微零件位姿对准；

步骤S300，基于所述力传感器信息，通过基于强化学习的装配模型将位姿对准后的第一微零件和第二微零件进行装配；

在一些优选的实施方式中，所述基于强化学习的装配模型，其获得方法为：

步骤A100，实时获取第一微零件的显微视觉图像、第二微零件的显微视觉图像和力传感器信息；

步骤A200基于第一微零件的显微视觉图像和第二微零件的显微视觉图像，完成第一微零件和第二微零件位姿对准；

步骤A300，基于所述力传感器信息，通过主动运动的方式标定操作手与力传感器的力的雅可比矩阵；

步骤A400，基于所述力的雅可比矩阵获取专家动作a_e；

步骤A500，通过强化学习框架，获取改进动作a_r；