[发明专利]基于学习组件库的辅助型移动机器人导航控制系统和方法

说明书

本发明公开了基于学习组件库的辅助型移动机器人导航控制系统和方法，系统包括学习组件库，学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件和可视化组件。本发明中各个组件之间相互交互，灵活调用，使用过程中可以根据移动机器人类型，快速构建多种适应其导航任务场景的不同算法策略的仿真或者实际应用的强化学习训练与可视化闭环学习系统。

技术领域

本发明涉及一种基于学习组件库的辅助型移动机器人导航控制系统和方法，属于机器人控制技术领域。

背景技术

近几年来，随着机器人技术的发展，功能辅助型移动机器人在农业、商业、物流、医疗辅助、军工等各个领域有着广泛的应用。比如，在国内新冠病毒疫情期间，辅助型移动机器人凭借其自主性，在医院、小区消毒、快递物流配送、体温检测、隔离区智能问诊等方面起到重要的作用，推动了我国的防疫抗议的进程。

辅助型移动机器人是一个综合系统，其集成了环境感知、自主定位、路径规划、底层导航控制与执行特定辅助功能等于一体。以疫情期间执行公共场合消毒任务的移动机器人为例，其在执行消毒工作的过程中，通过自身搭载的多种外部传感器，比如单目视觉摄像头、双目视觉摄像头、激光雷达、毫米波雷达，超声波传感器等获取需要消毒的区域环境信息；接着结合自身内部传感器，如惯性传感器、GPS等估计自身在当前所处区域的全局位置与姿态信息；在上述两步的基础上，结合具体任务需求，使用路径规划算法，如人工势场法、启发式快速扩展随机树等，规划出一条从初始位置到目标位置的最优路径；最后，结合自身动力学与运动学特性、执行器特点与底盘驱动构型，通过底层导航控制器对规划轨迹进行精确的导航跟踪控制，使移动机器人按照预先规划的路径行驶。

但是目前传统的导航控制方法缺少特定的辅助型移动机器人的仿真平台，配置训练过程复杂繁琐，缺乏系统性；并且现阶段每一种强化学习导航控制算法都是建立在特定的机器人以及特定的场景之上，模拟场景与实际场景的强化学习环境搭建方法不同，缺乏灵活性。

发明内容

本发明针对上述传统统辅助型移动机器人导航控制方法中存在的以上技术问题，提供一种基于学习组件库的辅助型移动机器人导航控制方法，方便使用者根据自身需求进行快速的强化学习闭环控制系统搭建，且方便进行参数调试与性能优化的移动机器人导航控制方法。

本发明采用以下技术方案。

一方面，本发明提供一种基于学习组件库的辅助型移动机器人导航控制系统，包括学习组件库，所述学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件和可视化组件；所述初始化组件，用于完成特定移动机器人类型对应的状态空间、动作空间的初始化，以及用于设立奖励函数；所述环境建模组件，用于读取并处理移动机器人搭载的传感器数据，以及用于确定定位机器人所处的全局位置数据以及在进行仿真任务时，建立虚拟的与移动机器人交互的环境；所述路径规划组件，用于提供能够选择的路径规划算法以实现最优导航路径规划；所述核心算法组件，用于提供多种强化学习算法供选择，配合底层控制算法组件或者直接使得输出控制器指令，动作后再次通过环境建模组件获得当前信息，以完成强化学习闭环控制；所述测试组件，用于提供供选择的扰动方法，以测试利用核心算法组件确定的强化学习算法的性能；所述优化组件，用于提供供选择的优化算法对利用核心算法组件确定的强化学习算法的选定参数进行调节，以提升导航控制算法的性能；所述可视化组件，用于将核心算法组件以及测试组件的输出数值实现可视化。

进一步地，所述核心组件库包括同策略模块、异策略模块以及综合策略模块，所述同策略模块用于封装同策略的强化学习算法，所述异策略用于封装异策略的强化学习算法；所述综合策略模块，用于封装综合策略算法，所述综合策略算法为综合同策略与异策略的数据驱动强化算法。所述综合策略算法包括：通过及时将学习的新策略反馈给移动机器人系统，收集特定系统数据来优化强化学习算法的适应能力；同时考虑系统的原始特性，将重新收集的数据与以往回放的经验数据结合，再次学习最终确定强化学习算法。