[发明专利]用状态相似性进行经验回放采样的无人平台决策学习方法

权利要求书

1.一种用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，包括以下步骤：

步骤1，每一时刻，将无人平台与环境交互得到的轨迹数据放入经验回放池中；

步骤2，在更新所述无人平台的决策神经网络模型时，从所述经验回放池中采样得到一批历史样本数据；

步骤3，用所述步骤2中采样得到的历史样本数据通过对比学习训练图像编码器；

步骤4，计算所述步骤2中历史样本数据与所述无人平台的决策神经网络模型的当前策略的状态相似度与动作相似度，所述状态相似度利用所述步骤3中训练得到的图像编码器计算；

步骤5，利用所述步骤4计算得出的所述状态相似度和动作相似度，确定历史样本数据与所述无人平台的当前策略的一致性程度，根据确定的一致性程度对不同的历史样本数据赋予不同的训练权重，根据历史样本数据的训练权重不同更新无人平台的决策神经网络模型。

2.根据权利要求1所述的用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，所述步骤2在更新无人平台的决策神经网络模型开始前，还包括：

判断所述经验回放池中数据的数量是否大于预设值，若是，则进行更新无人平台的决策神经网络模型；

若否，则继续执行所述步骤1，直至所述经验回放池中数据的数量大于预设值。

3.根据权利要求1所述的用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，所述步骤5后，还包括：

步骤6，判断当前对决策神经网络模型更新的次数是否大于预设的总次数，若达到，则停止训练，若未达到，则返回所述步骤1。

4.根据权利要求1至3任一项所述的用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，所述步骤1中，所述轨迹数据表示为s_t，a_t，r_t，s_t+1，其中，s_t为无人平台当前时刻状态；a_t为当前时刻无人平台的决策神经网络模型选择的执行动作；r_t为在状态s_t下执行a_t得到的奖励值；s_t+1为无人平台到达的下一状态。

5.根据权利要求1至3任一项所述的用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，所述步骤3中，所述图像编码器的损失函数为：

所述损失函数中，为编码器网络参数；f为余弦相似性函数；c为原始数据；s₊为正样本数据；s为N个历史样本数据，包含一个正历史样本数据和N-1个负历史样本数据。

6.根据权利要求1至3任一项所述的用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，所述步骤4中，

所述状态相似度的计算公式为：该状态相似度的计算公式中，s_on为当前策略π与环境交互采样得到的状态；s_off为所述步骤2中历史样本数据中的状态；K为核函数；

所述动作相似度为当前策略π与历史策略μ对历史样本数据中动作选择的概率之比，其计算公式为：

7.根据权利要求6所述的用状态相似性进行经验回放采样的无人平台决策学习方法，其特征在于，所述状态相似度的计算公式中，核函数K采用高斯函数，为：

其中，x和x′分别为历史状态和当前状态，σ为超参数。