[发明专利]有效载荷的故障决策方法

权利要求书

1.一种有效载荷的故障决策方法，其特征在于，包括：

获取有效载荷的运行参数；

建立决策模型，将所述运行参数输入到所述决策模型的多个子线程中，每个所述子线程分别根据所述运行参数和马尔科夫模型对所述决策模型进行训练；

将训练结果输出给总线程，总线程对所述决策模型的深度网络参数和价值函数参数进行更新，其中，所述决策模型为深度增强网络模型；

根据训练后的所述决策模型对所述有效载荷的故障进行决策。

2.根据权利要求1所述的故障决策方法，其特征在于，根据所述运行参数和马尔科夫模型对所述决策模型进行训练之前，还包括：

初始化所述决策模型，设定所述决策模型参数的初始值，所述参数包括：深度网络参数、价值函数参数、最大时间步数、时间步数变量和有效载荷状态。

3.根据权利要求1所述的故障决策方法，其特征在于，每个所述子线程分别根据所述运行参数和马尔科夫模型对所述决策模型进行训练，具体包括：

每个所述子线程根据所述运行参数执行策略中的动作，得到动作回报，所述策略中包含动作、状态和深度网络参数；

根据所述动作回报和马尔科夫模型计算得到新状态，将所述状态更新为所述新状态；

更新时间步数，重复计算新状态，直到所述运行参数的时间步数执行完或达到最大时间步数；

根据所述新状态计算得到优势函数，根据所述优势函数得到新深度网络参数和新价值函数参数。

4.根据权利要求3所述的故障决策方法，其特征在于，根据所述动作回报和马尔科夫模型计算得到新状态，具体包括：

获取全局累计动作回报，根据所述全局累计动作回报、所述动作回报和马尔科夫状态转移概率按时间步数的倒序计算新动作回报；

根据所述新动作回报计算所述新状态。

5.根据权利要求4所述的故障决策方法，其特征在于，根据以下公式计算新动作回报：

R′＝ρ_i(r_i+γR)

其中，R′为新动作回报，i为时间步数，取值范围为{t-1，t-2，t-3，…，t_s}，t为时间步数的数量，t_s为初始时间步数，ρ_i为第i步的马尔科夫状态转移概率，r_i为第i步的动作回报，γ为预设常数，R为全局累计动作回报；

根据以下公式计算新状态：

其中，S_t为状态，θ'_v为价值函数参数，V(S_t,θ'_v)为状态S_t的价值函数估计，ρ(S_t)为马尔科夫状态转移概率。

6.根据权利要求3所述的故障决策方法，其特征在于，根据以下公式计算优势函数：

其中，A(S_t,a_t；θ',θ_v')为优势函数，a_t为动作，S_t为状态，k为状态数量，γ为预设常数，i为时间步数，t为时间步数的数量，r_i为动作回报，θ'为深度网络参数，θ'_v为价值函数参数，ρ为马尔科夫状态转移概率，V(S_t,θ'_v)为状态S_t的价值函数估计，V(S_t+k,θ'_v)为状态S_t+k的价值函数估计。

7.根据权利要求3所述的故障决策方法，其特征在于，根据所述优势函数得到新深度网络参数和新价值函数参数，具体包括：

根据所述优势函数计算损失函数；

根据所述损失函数得到深度网络参数的微分和价值函数参数的微分；

对所述深度网络参数的微分和所述价值函数参数的微分进行累计梯度异步处理，得到新深度网络参数和新价值函数参数。