[发明专利]多样性策略的生成方法、装置、介质和计算设备

权利要求书

1.一种多样性策略的生成方法，包括：

获取当前状态数据、指示参数以及环境奖励；所述当前状态数据中包括但不限于多个终端设备的当前观测状态数据；

将所述多个终端设备的当前观测状态数据和所述指示参数输入至神经网络模型，得到虚拟奖励；

根据所述虚拟奖励、所述环境奖励以及预设的约束参数得到总奖励；

根据所述总奖励对累积奖励进行更新，得到更新后的累积奖励；所述累积奖励为根据多个历史全局状态数据多个终端设备的多个历史观测状态数据得到的多个历史总奖励之和；

如果所述累积奖励达到预设的目标奖励，根据预设变分下届阈值、所述当前状态数据以及指示参数得到多样性策略，所述多样性策略用于配置多个终端设备。

2.根据权利要求1所述的多样性策略的生成方法，所述神经网络模型中包括多个策略网络、多个子判别网络和全局判别网络，所述策略网络与所述子判别网络一一对应，所述将所述多个终端设备的当前观测状态数据和所述指示参数输入至神经网络模型，得到虚拟奖励，包括：

将所述终端设备的当前观测状态数据输入至所述策略网络，得到所述终端设备的行为数据；其中，所述终端设备与所述策略网络一一对应；

将所述终端设备的当前状态观测数据和行为数据输入至与所述策略网络对应的子判别网络，得到所述终端设备的子虚拟奖励；

将每个所述终端设备的当前状态观测数据和行为数据输入至所述全局判别网络，得到全局虚拟奖励；

根据每个所述子虚拟奖励和所述全局虚拟奖励得到虚拟奖励。

3.根据权利要求2所述的多样性策略的生成方法，如果所述累积奖励未达到预设的目标奖励，所述方法还包括：

根据所述总奖励对所述约束参数进行更新，并且根据所述总奖励对所述策略网络进行更新，以及根据所述总奖励对所述子判别网络和所述全局判别网络进行更新。

4.根据权利要求3所述的多样性策略的生成方法，所述根据所述总奖励对所述约束参数进行更新，包括：

根据所述目标奖励、根据所述总奖励更新后的累积奖励以及所述约束参数对所述约束参数进行更新。

5.根据权利要求4所述的多样性策略的生成方法，所述当前状态数据中还包括当前全局状态数据，所述根据所述总奖励对所述策略网络进行更新，包括：

根据更新后的所述约束参数、所述指示参数、所述策略网络的数据集以及所述当前状态数据对所述策略网络进行更新。

6.根据权利要求5所述的多样性策略的生成方法，所述根据所述总奖励对所述子判别网络和所述全局判别网络进行更新，包括：

根据所述策略网络的数据集、所述当前全局状态数据、所述指示参数以及所述每个所述终端设备的行为数据对所述全局判别网络进行更新，以使所述全局判别网络的梯度下降；

根据所述策略网络的数据集、所述多个终端设备的当前观测状态数据、所述指示参数以及所述终端设备的行为数据对所述子判别网络进行更新，以使所述子判别网络的梯度下降。

7.根据权利要求1～6中任一项所述的多样性策略的生成方法，所述当前状态数据保存在区块链节点上。

8.一种多样性策略的生成装置，包括：

获取单元，用于获取当前状态数据、指示参数以及环境奖励；所述当前状态数据中包括但不限于多个终端设备的当前观测状态数据；

输入单元，用于将所述多个终端设备的当前观测状态数据和所述指示参数输入至神经网络模型，得到虚拟奖励；

总奖励确定单元，用于根据所述虚拟奖励、所述环境奖励以及预设的约束参数得到总奖励；

累积奖励确定单元，用于根据所述总奖励对累积奖励进行更新，得到更新后的累积奖励；所述累积奖励为根据多个历史全局状态数据多个终端设备的多个历史观测状态数据得到的多个历史总奖励之和；

策略确定单元，用于如果所述累积奖励达到预设的目标奖励，根据预设变分下届阈值、所述当前状态数据以及指示参数得到多样性策略，所述多样性策略用于配置多个终端设备。