[发明专利]一种基于深度强化学习的火灾现场逃生-救援联合系统

权利要求书

1.一种基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：

包括逃生衣和设置在消防救援车上的消防控制室；

所述逃生衣设有用于与外界通讯的无线信号传输模块，并植入建筑物逃生路线图、室内定位系统和基于Q-learning强化学习逃生路径规划算法；

所述消防控制室设有信息接收模块，并植入基于实时火情和LSTM的逃生路径引导算法；

发生火情，现场人员拿起逃生衣产生快速移动时，逃生衣的无线信号传输模块自动启动引导人员疏散，并与消防控制室进行实时通信。

2.根据权利要求1所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述基于Q-learning强化学习逃生路径规划算法，用于实现基于火灾环境下进行路径规划的强化学习系统，该系统输入的是火灾初始位置参数，输出的是抢救矩阵。

3.根据权利要求2所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述基于火灾环境下进行路径规划的强化学习系统，其设计时将建筑物的环境信息分为内部环境信息和外部环境信息，所述内部环境信息是建筑物的每层楼的环境信息，所述外部环境信息是设置合适的奖惩制度。

4.根据权利要求3所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述基于火灾环境下进行路径规划的强化学习系统，实现过程如下：

1）首先获得发生火灾的建筑物的外部环境信息；

2）将外部环境信息和内部环境信息均传递到所述基于Q-learning强化学习逃生路径规划算法中，形成环境信息观察结论；

3）将环境信息观察结论移交给情感系统进行分析，继而将分析结果解析为结果建议，并反馈到强化学习系统的策略选择算法中，从而得到最佳路径策略。

5.根据权利要求3所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述基于火灾环境下进行路径规划的强化学习系统，将建筑物的每一个区域抽象为一个状态，将选择进入的区域作为动作，把状态图和立刻奖励值整理成回报矩阵，Agent的目的为达到奖励值最高的状态。

6.根据权利要求5所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述基于火灾环境下进行路径规划的强化学习系统，在得到回报矩阵后，在Agent的大脑中加入一个类似的矩阵Q，作为奖励值参考表；矩阵的行代表Agent目前所在的区域，列代表Agent下一步选择进入的区域；当区域之间的通道情况随火势蔓延改变时，改变相应的奖励值进行更新矩阵Q。

7.根据权利要求6所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述矩阵Q，其训练的过程如下：

（1）对建筑环境和各参数进行初始化；所述参数包括最大训练周期数、火灾初始位置参数γ、即时回报函数R和评估矩阵Q；

（2）任意选出一个初始状态s，若s=s*，则该周期结束，重新选择新的开始状态；

（3）在当前状态s下的全部可能动作中随机选取一个动作a，而且每一个动作被选择的可能性相同；

（4）在当前状态s下选取动作a后进入下一个状态s’；

（5）使用Q学习的更新规则公式更新矩阵Q；

（6）设置下一状态为当前状态，s=s’，若s没有获得目标状态，则转到步骤3；

（7）假如算法没有达到最大训练周期数，则跳转到步骤2重新选择状态进入下一周期，否则结束训练，得到训练成功的具有收敛性的矩阵Q。

8.根据权利要求7所述的基于深度强化学习的火灾现场逃生-救援联合系统，其特征在于：所述矩阵Q，其训练还包括在PyCharm中利用Python语言对Agent进行训练；训练时，设置火灾初始位置参数γ，其范围是0到0.9；通过输入不同的参数γ值，来代表各层救援人员与该楼层火灾初始位置之间的远近关系。