[发明专利]一种基于深度强化学习的台风中心定位方法

权利要求书

1.一种基于深度强化学习的台风中心定位方法，其特征在于，包括以下步骤：

(1)使用马尔可夫决策过程对台风中心搜索过程进行建模；

(2)构建台风中心定位的深度强化学习网络结构；

(3)确定深度强化学习网络的训练策略；

(4)设计台风云系判定条件；

(5)通过深度Q学习算法训练智能体搜索台风中心；

所述步骤(1)的具体内容为：

(a)定义五个搜索框可选动作：当前搜索框B的边长为l₁,中心点为c，经过动作a_i,i＝1,2,3,4,5,后下一状态的搜索框B'边长为l₂，中心为c’，动作a₁-a₄的执行效果是将B按比例k＝l₂/l₁缩小变成B'，然后将B'与B分别在当前搜索框B的左上角、右上角、左下角和右下角处对齐；动作a₅将B按比例k缩小以形成B'，将B'与B在它们的中心点处对齐；

(b)定义状态向量：状态向量由两部分组成，第一部分为当前搜索框覆盖下的云分布特征，由特征提取网络提供；第二部分为执行过的4个邻近动作序列，在这里对这4个邻近动作进行编码形成20个维度，再与第一部分直接连接起来成一个一维状态向量；

(c)定义奖励值：执行动作后搜索框由B变为B'，并将状态由s变为s'，则该动作的表现情况由搜索框的中心点与真实台风中心点之间的欧式距离的变化来衡量，若当前搜索框的中心点与真实台风中心点更接近时，奖励值为1，否则奖励值为-1。

2.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(2)的具体内容为：使用特征提取网络CNN和深度Q网络组成台风中心定位网络，以卫星云图上搜索框内的区域作为网络输入，由特征提取网络提取特征图；将特征图扩展成一维向量，经过一个全连接网络后与搜索框执行过的邻近动作序列组合成状态向量作为深度Q网络的输入；深度Q网络由三层全连接层组成，网络的输出为每个动作的Q值，Q值表示在特定状态s_t下根据特定策略执行动作a_t而获得的未来奖励的期望，定义为：

Q^π(s_t,a_t)＝ E [R_t+1+γR_t+2+γ²R_t+3+…| s_t,a_t]               (1)

其中R_i+1为第i步的立即回报，γ,γ1,为折扣因子。

3.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(3)的具体内容为：

(1)采用经验回放机制：将搜索框探索环境得到的状态转移数据储存起来，然后通过在经验存储器中随机采样更新深度神经网络的参数；

(2)采用ε-greedy策略：以1-ε的概率执行当前网络生成的最优策略，以ε的概率来执行随机动作，ε从1开始，以0.1为步长递减，直到ε＝0.1；

(3)调整搜索框尺度策略：在搜索过程中，搜索框缩小的比例k随时间步step的增大而减小：

式中，[]表示取整运算。

4.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(4)的具体内容为：

(1)在搜索过程的第7-10步中，智能体选择了2次以上动作a₅；

(2)在搜索过程的第7-10步中，智能体选择了2次动作a₅，且这两次动作值函数Q的平均值大于1；

(3)在搜索过程的第7-10步中，动作a₅的选择次数少于两次，但在第6步选择了动作a₅，且动作值函数Q大于1；

若满足以上条件之一，则判定搜索框找到台风区域，否则搜索框内无台风云系，退出搜索流程。

5.根据权利要求1所述的一种基于深度强化学习的台风中心定位方法，其特征在于，所述步骤(5)的具体内容为：首先在卫星云图上放置一个初始搜索框，其边界与卫星图像的边界一致；然后，搜索框根据其所处环境和历史动作不断收缩并移动到下一个位置；当台风中心的搜索步数达到最大搜索步数时，根据权利要求1所述台风云系判定条件确定搜索框内是否存在台风，如果存在，则台风中心成功定位，并且与最终的搜索框的中心一致；否则，卫星云图的整个搜索过程结束，并输出台风中心。