[发明专利]一种基于安全强化学习及视觉传感器的机器人避障系统

说明书

本发明公开了一种基于安全强化学习及视觉传感器的机器人避障系统，包括卷积神经模块，所述卷积神经网络模块包括长短期记忆单元；还包括加入LSTM单元、第一卷积层、第二卷积层、第一全连接层、第二全连接层、输出层。本发明采用强化学习算法的增强，使多维，连续，多约束问题能够较好的收敛于信任域内，解决了以往带约束的强化学习算法的诸多问题。可以大幅提高生产安全，普适地应用在不同场合的危险工作上，在解放劳动力的同时，提高了操作安全性、精准性。

技术领域

本发明涉及人工智能领域，主要关于人工智能中安全强化学习算法在机器人避障问题中的应用，特别是涉及一种基于安全强化学习及视觉传感器的机器人避障系统。

背景技术

年来，随着科学技术的不断发展，智能机器人已应用于多个领域，包括工业生产、军事、灾难救援等方面，其中涉及了环境感知、动态决策与规划、自动控制等多种技术。同时，近年来也出现了各种社会问题，如劳动力数量下降、生产成本上升、自动化生产效率较低，产业转型未完成、社会老龄化程度日益严重等问题。机器人在市场中的应用能够有效缓解上述问题，因此，深入研究机器人技术的相关难点并进一步开拓机器人应用市场是十分必要的。并且，机器人技术更是衡量国家科技水平和工业自动化水平的重要指标。

其中，自主避障是智能机器人技术中重要组成部分，是智能机器人的核心技术之一。机器人自主躲避障碍可以极大促进相关智能产品的使用率，减小人力成本，使智能机器人能够更好地代替人类完成部分难度大且危险的工作，例如灾区救援、疫区消毒等。但与此同时，训练避障机器人的过程中，不可避免地会出现相关的安全问题，因此，进一步优化智能机器人避障训练过程中存在的安全隐患能够进一步推进机器人在社会中的应用。

目前，智能机器人要想实现自主避障，需要通过测距传感器以及许多避障算法来实现。典型的测距传感器包括激光传感器、超声波传感器、视觉传感器等，然而这些传感器都存在各自的局限性。在常用的避障算法中，主要有模拟退火法、人工势场法和模糊逻辑方法，这类方法易于实现，但求解时容易陷入局部最优解。A*(A-star)算法、栅格法等方法解决了建模难的问题，但由于其搜索效率较低，使得其难以应用到实际中。遗传算法、人工神经网络算法等智能仿生学方法效率更高，但这类方法在应用中存在易陷入局部最优解及收敛速度较慢。

与此同时，深度学习中的强化学习技术在近年来得到了迅猛的发展，将强化学习技术应用于机器人避障领域已有不少相关研究。主要包括基于值的方法、基于策略的方法以及值与策略相结合的方法。基于值的方法主要适用于离散动作空间，其目标是通过最大化每个状态的值函数来得到最优策略，而值函数则是用来衡量当前状态下机器人选择策略优劣程度，主要有时序差分(TemporalDifference,TD)算法、Q-Learning算法、SARSA(State-Action-Reward-State-Action)算法以及Dyna算法等；基于策略的方法通过直接优化策略得到最优策略，应用于机器人避障中则主要有策略梯度法(Policy Gradient,PG)和模仿学习(ImitationLearning,IL)等；值和策略相结合的方法则主要为Actor-Critic算法。

现有的强化学习技术在机器人避障的研究中，基于DoubleDQN网络和深度强化学习的移动机器人避障方法(专利号：CN201811562344.6)，一种基于虚拟场景训练的机器人避障方法(专利号：CN201911183320.4)，前者解决了现有的深度强化学习避障方法存在的响应延迟高、所需训练时间长以及避障成功率低的问题，后者以构建虚拟环境的方式，结合基于Sarsa-lamda强化学习模型，实现机械臂轨迹重构以及有效避障，两者均未对动态、连续、高维的控制模型进行分析和建模，同时也未涉及对机器人避障的安全问题进行限制和考量。