[发明专利]基于学习组件库的辅助型移动机器人导航控制系统和方法

权利要求书

1.一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，包括学习组件库，所述学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件和可视化组件；所述初始化组件，用于完成特定移动机器人类型对应的状态空间、动作空间的初始化，以及用于设立奖励函数；所述环境建模组件，用于读取并处理移动机器人搭载的传感器数据，以及用于确定定位机器人所处的全局位置数据以及在进行仿真任务时，建立虚拟的与移动机器人交互的环境；所述路径规划组件，用于提供能够选择的路径规划算法以实现最优导航路径；所述核心算法组件，用于提供多种策略的强化学习算法，使得输出控制器指令完成强化学习闭环控制；所述测试组件，用于提供供选择的仿真环境中的扰动方法，以测试利用核心算法组件确定的强化学习算法的性能；所述优化组件，用于提供供选择的优化算法对利用核心算法组件确定的强化学习算法的选定参数进行调节，以提升导航控制算法的性能；所述可视化组件，用于在进行仿真或者实际学习任务时，将核心算法组件以及测试组件的输出数值实现可视化；

基于学习组件库的辅助型移动机器人导航控制系统执行以下可控制方法，包括以下步骤：

从预先构建的初始化组件选择与特定移动机器人类型对应的状态空间和动作空间，并设立强化学习的奖励函数完成初始化；

利用预先构建的环境建模组件构建强化学习仿真环境；通过环境建模组件获取障碍物相对位置与移动机器人自身位置，利用预先构建的路径规划组件选择所需的路径规划算法，规划最优导航路径；根据路径规划结果，调节导航控制算法的奖励函数；

从预先构建的核心算法组件选择确定强化学习算法，联合定义的动作空间、状态空间、奖励函数与强化学习仿真环境，选择核心算法模块，进行训练；通过底层控制模块或者直接输出控制器指令进行动作，接着再次通过环境建模组件获取障碍物相对位置与移动机器人自身位置，重复步骤完成强化学习闭环控制；

从测试组件选择扰动方法，测试从核心算法组件选择确定的强化学习算法的性能；

从优化组件中选择确定优化算法对利用核心算法组件确定的强化学习算法的选定参数进行调节，以提升导航控制算法的性能；

利用可视化组件将核心算法组件以及测试组件的输出数值实现可视化，以实时监测学习训练过程。

2.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述核心算法组件包括同策略模块、异策略模块以及综合策略模块，所述同策略模块用于封装同策略的强化学习算法，所述异策略用于封装异策略的强化学习算法；所述综合策略模块，用于封装综合策略算法，所述综合策略算法为综合同策略与异策略的数据驱动强化算法。

3.根据权利要求2所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述综合策略算法包括：通过将学习的新策略反馈给移动机器人系统，收集特定系统数据来优化强化学习算法的适应能力；同时将重新收集的数据与以往回放的经验数据结合，再次学习最终确定强化学习算法。

4.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述系统还包括：底层控制算法组件，所述底层控制算法组件能够直接用于提供作为与强化学习算法对比的基准组件，也能够与上层强化学习算法结合，搭建从状态直接到执行器指令的闭环控制强化学习系统。

5.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述环境建模组件包括：传感器数据处理模块、移动机器人定位模块和强化学习环境建模模块，所述传感器数据处理模块用于读取并处理移动机器人搭载的传感器数据，所述移动机器人定位模块用于实时定位机器人所处的全局位置数据；所述强化学习环境建模模块用于在进行仿真任务时，建立虚拟的与移动机器人交互的环境。

6.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述优化组件提供的供选择的优化算法包括正则化算法，所述正则化算法包括L1和L2正则化算法、熵正则化算法和/或早停算法。