[发明专利]一种基于动作检测机制的CGF行为建模方法及系统

权利要求书

1.一种基于动作检测机制的CGF行为建模方法，其特征在于，所述方法包括如下步骤：

S1基于LSTM-SAC算法框架构建CGF行为预测模型；

S2对所述CGF行为预测模型进行训练；

S3将环境信息和状态信息输入至所述CGF行为预测模型进行预测，所述CGF行为预测模型依据环境和状态输出预测的动作；

其中，步骤S2中所述CGF行为预测模型的训练过程包括：

S21所述CGF行为预测模型与输入的环境信息交互后输出下一步动作；

S22采用动作检测机制对所述CGF行为预测模型输出的动作进行判断，当输出的动作正确则被赋予负反馈，当输入的动作不正确则被赋予正反馈，所有反馈信息与动作信息一同被记录至经验回放池；

S23基于所述经验回放池更新所述CGF行为预测模型的参数；

S24循环步骤S21~S23直至达到设定的循环次数。

2.根据权利要求1所述的一种基于动作检测机制的CGF行为建模方法，其特征在于：步骤S1）中，所述基于LSTM-SAC算法框架的CGF行为预测模型的最佳策略π*满足：

其中，s、a为状态和动作，E_(st,at)~π表示CGF在策略π、动作a_t和状态s_t下获得奖励的期望，下标t表示时刻，r(s_t,a_t)为t时刻的奖励，H(π(·| s_t))为t时刻的状态熵，α表示温度调整参数；

优化目标函数为：

其中，E_π表示CGF在策略π下获得奖励的期望。

3.根据权利要求2所述的一种基于动作检测机制的CGF行为建模方法，其特征在于：步骤S23中，更新所述CGF行为预测模型参数的方法为：

初始化两个Soft-Q函数网络参数θ和策略网络参数φ，初始化经验回放池；在每一次循环迭代中，根据接收的观察量o_t策略网络选出动作a_t，并将训练过程放入经验回放池R；从所述经验回放池R中选取N个片段，训练LSTM网络，更新两个Soft-Q函数网络参数θ，更新策略网络参数φ，更新温度调整参数α，更新网络目标参数θ_i直至循环停止。