[发明专利]基于强化学习的自动化流水线作业效率优化系统及方法

说明书

本发明涉及一种基于强化学习的自动化流水线作业效率优化系统本发明的另一个技术方案是提供了一种基于强化学习的自动化流水线作业效率优化方法。本发明将强化学习用到了搬运流水线中，通过机器人与环境接触然后不断学习，缩短了整个流水线的搬运时间。基于强化学习搭建了OptLayer架构，通过V‑Rep平台对实物流水线进行一比一仿真，运用A3C算法进行强化学习，在仿真平台上获得训练集，极大地缩短了学习的时间，当机器人在仿真环境训练出最优的参数后，将仿真训练好的模型参数迁移到实物平台上进行自学习训练，由于此时机器人已经有了较好的策略，因此即使在对其动作输出作为安全约束的情况下机器人也能有较高的学习效率。

技术领域

本发明涉及流水线优化领域，具体是一种基于强化学习的自动化流水线作业效率优化系统及方法。

背景技术

工业机器人已经大批量进入生产制造现场，代替人类劳动，应用在流水线搬运等场景。并且由于其没有人类的疲劳，对重复的劳动不会缺失兴趣等问题，可以极大地提升流水线生产的效率。然而，搬运流水线上的机器人还处于没有自主学习能力的阶段，其动作要靠事先输入程序来完成，整个流水线的搬运系统也不具备学习能力，日复一日完成事先设定好的动作，对于生产效率的进一步提高起到了阻碍作用。

随着人工智能的发展，机器人已经从只能执行简单的重复性动作，逐渐演变成为了能够进行自主感知、学习和执行动作的多功能智能系统。其一般具有能够通过与环境的相互作用，不断学习知识，积累知识，使机器人能够具有适应环境变化的行为决策能力。

此外，大数据时代的出现，给统计强化学习提供了更多的机遇，将使得人工智能的作用更加突出，有了大量的训练集样本，就可以通过不断学习实现从量变到质变这一过程。

目前，大多数机器人运动都依赖于对自身与周边环境的精确建模，但是由于机器人本身的复杂性，无法建立出精确的模型。

发明内容

本发明的目的是：提供一种能够通过自我学习来达到最优控制策略的流水线系统及方法。

为了达到上述目的，本发明的技术方案是提供了一种基于强化学习的自动化流水线作业效率优化系统，其特征在于，包括：

用于传送工件的传送带，传送带上设有视觉采集区域和机器人工作区域，且视觉采集区域与机器人工作区域彼此无重叠；

机器人工作区域有两个用于搬运工件的机器人，分别定义为第一机器人及第二机器人，其中，第一机器人位于传送带始端，用于将工件搬运到传送带上；第二机器人位于传送带末端，用于抓取传送带上的工件并搬运到指定位置；

位于第一机器人与第二机器人之间的可旋转转台，可旋转转台用于存储工件；

在传送带上的第二机器人工作区域设有用于检测工件是否传输到位的光电开关；

视觉采集区域有第一视觉采集系统及第二视觉采集系统，其中：

第一视觉采集系统位于传送带始端，用于第一机器人准确抓取目标工件并平稳放至到传送带上，并获取工件的图像信息；

第二视觉采集系统位于光电开关正上方，用于获取工件的图像信息，便于第二机器人精准抓取；

上位机，用于获取第一视觉采集系统及第二视觉采集系统采集到的图像信息并进行分析处理，进而控制第一机器人及第二机器人运动。

优选地，所述第二机器人包括库卡KR6 R900机械臂及设于库卡KR6 R900机械臂底部的水平移动导轨，通过水平移动导轨增大库卡KR6 R900机械臂的工作空间范围，使第二机器人相当于一个七自由度的机器人。

优选地，还包括PLC控制系统，所述上位机连接PLC控制系统，所述PLC控制系统连接所述传送带的控制器和所述光电开关。