[发明专利]一种基于深度强化学习的自动化停车场调度方法

说明书

一种基于深度强化学习的自动化停车场调度方法，包括：步骤1：建立自动化停车场的环境；步骤2：定义泊车机器人的运行代价；步骤3：建立环境、智能体模型及设定奖励值；步骤4：对DQN算法进行改进；步骤5：使用改进的DQN算法进行训练。本发明使用对DQN算法进行改进，相对于使用一般的DQN算法，训练效率更高；在样本数据结构方面，保存了状态信息及该状态下所有动作的价值，相对于传统的保存状态之间的转移形式，能在训练前期获得较为准确的价值估计，避免价值模型陷入局部最优解。

技术领域

本发明涉及一种自动化停车场的调度方法。

背景技术

随着经济社会快速发展，城市道路交通问题越来越突出，除了交通拥堵外，停车供需矛盾已经成为城市发展中不容忽视的难点问题。传统的停车场表现出车辆停放效率和停车场面积利用率较低的缺点。目前一种新的自动化停车场应运而生，由泊车机器人完成车辆的停放工作。

陈广，瞿三清等人提出了一种面向自动化停车场的无人泊车搬运机器人的对位方法，通过单目相机和单线激光雷达实现目标车辆的精准对位，以保障机器人有效的搬运车辆(陈广，瞿三清等，面向自动化停车场的无人泊车搬运机器人的对位方法[P]，CN109386155A，2019-02-26)。然而，该方法需要处理和计算大量的数据，效率不高。熊璐，严森炜等人提出了一种基于几何规划及强化学习的自动泊车方法及系统，通过几何规划确定泊车轨迹，再交由强化学习控制车辆入库的位姿(熊璐，严森炜等，一种基于几何规划及强化学习的自动泊车方法及系统[P]，上海：CN109398349A，2019-03-01)。然而，该方法需要驾驶员主动驾驶车辆到库位周边，需要花费大量驾驶员的时间。余伶俐，严孝鑫等人提出了一种基于DQN的车辆自动泊车方法，通过训练好的DQN计算期望车辆前轮摆角，控制车辆转动并移动车辆进行停车(余伶俐，严孝鑫，周开军等，一种基于DQN的车辆自动泊车方法[P]，湖南：CN108407805A，2018-08-07)。然而，此方法并没有考虑车库停放情况，能耗大小，车辆状态等问题。

鉴于以上问题，如何对泊车机器人进行合理的调度优化以增加停车效率并减少能耗成为自动化停车场的核心问题。调度优化策略需要根据停车场中库位的空间分布以及停放车辆的信息，安排合适的库位并且减少自动化停车场长时间运行产生的能耗。因此，设计合理的停车场调度策略对于自动化停车场的长期运行收益具有重要意义。

发明内容

本发明克服现有方法的缺点，提出一种基于深度强化学习的自动化停车调度方法。

本发明将自动化停车问题转化成为强化学习框架下的最优策略求解问题，定义自动化停车场运行过程中的状态、价值模型、动作奖励值，使用Deep Q Network(DQN)算法进行训练，并且利用神经网络拟合价值模型，获取动作价值，从而在决策时选择奖励值最大的动作。

基于深度强化学习的自动化停车场调度方法，将自动化停车问题转化为强化学习框架下的最优策略求解问题；定义自动化停车场运行过程中的状态、价值模型、动作的奖励值函数；将停放车辆信息的随机问题归结为环境的随机信息，利用Q-Learning算法解决该问题；再利用神经网络拟合价值模型，与环境交互并计算样本价值来不断逼近价值模型的真实值，获得每个动作的价值，从而在每个决策阶段做出奖励值最大的动作。本发明基于深度强化学习来解决停车调度问题，提高了训练效率；在样本数据结构方面，保存了状态信息及该状态下所有动作的价值，能在训练前期获得较为准确的价值估计，避免价值模型陷入局部最优解。

一种基于深度强化学习的自动化停车场调度方法，步骤如下：

步骤1：建立自动化停车场的环境；