[发明专利]推荐策略训练方法、装置、电子设备及可读存储介质

权利要求书

1.一种推荐策略训练方法，包括：

获取训练数据；其中，所述训练数据包括：多充电站中的每个所述充电站在充电请求出现时的状态信息；每个所述充电站针对所述充电请求的推荐动作值；以及，基于所述充电请求的推荐结果，每个所述充电站获取的奖励值；所述推荐结果是根据每个所述充电站针对所述充电请求的推荐动作值确定的；

根据所述训练数据对每个所述充电站的推荐策略进行训练；其中，所述推荐策略表征的是：所述充电站在所述充电请求出现时的状态信息，与所述充电站针对所述充电请求的推荐动作值之间的关系。

2.根据权利要求1所述的方法，其中，所述奖励值的参考目标包括以下至少一项：充电等待时间、充电价格。

3.根据权利要求1所述的方法，其中，所述根据所述训练数据对每个所述充电站的推荐策略进行训练，包括：

根据所述训练数据以及预设的期望累计奖励函数，对所述每个所述充电站的推荐策略进行训练；其中，所述训练的收敛条件为：最大化每个所述充电站的期望累计奖励值。

4.根据权利要求3所述的方法，其中，当所述奖励值的参考目标为充电等待时间或者充电价格时，所述预设的期望累计奖励函数为：

其中，m表示充电等待时间CWT或者充电价格CP；E表示环境；b表示充电站cⁱ的待训练的推荐策略；表示充电站c_i在充电请求q_t时的状态信息；表示充电站c_i针对充电请求q_t的推荐动作值；表示从充电请求q_t到其完成后的下一个请求q_t+j所对应的累计折扣奖励值；T_t表示充电请求q_t的出现时间，T_t+j表示充电请求q_t+j的出现时间；表示充电请求q_t所对应的期望累计奖励值，表示充电请求q_t+j所对应的期望累计奖励值；γ表示折扣因子。

5.根据权利要求3所述的方法，其中，当所述奖励的参考目标包括充电等待时间和充电价格时，所述预设的期望累计奖励函数为：

其中，表示充电站c_i在充电请求q_t时的状态信息；D表示装载训练数据的数据库；表示充电站c_i针对充电请求q_t的推荐动作值；表示在待训练的推荐策略b下，针对充电等待时间CWT的充电请求q_t所对应的期望累计奖励值；表示在待训练的推荐策略b下，针对充电价格CP的充电请求q_t所对应的期望累计奖励值；

β_t表示的动态更新权重；β_t与第一差距比率和第二差距比率相关；所述第一差距比率与充电等待时间CWT相关，为待训练的推荐策略b和第一目标推荐策略之间的差距比率；所述第二差距比率与充电价格CP相关，为待训练的推荐策略b和第二目标推荐策略之间的差距比率。

6.根据权利要求5所述的方法，其中，

其中，表示所述第一差距比率，表示所述第二差距比率；表示在所述第一目标推荐策略下，针对充电等待时间CWT的充电请求q_t所对应的期望累计奖励值；表示在所述第二目标推荐策略下，针对充电价格CP的充电请求q_t所对应的期望累计奖励值。

7.根据权利要求1所述的方法，其中，所述根据所述训练数据对每个所述充电站的推荐策略进行训练之后，所述方法还包括：

获取第一充电请求；

根据每个所述充电站在第一充电请求出现时的状态信息以及训练得到的每个所述充电站的推荐策略，确定每个所述充电站的推荐动作值，得到多个推荐动作值，并推荐所述多个推荐动作值中的最大推荐动作值对应的充电站。