[发明专利]基于公共信息的强化学习实现方法、设备及存储介质

权利要求书

1.一种基于公共信息的强化学习实现方法，其特征在于，所述基于公共信息的强化学习实现方法应用于强化学习的智能体，所述智能体与联邦服务端通信连接，所述基于公共信息的强化学习实现方法包括以下步骤：

获取所述智能体的数据采集设备采集的自身采集数据，并向所述联邦服务端发送公共信息获取请求；

接收所述联邦服务端返回的已处理公共信息，其中，所述联邦服务端根据所述公共信息获取请求采用预设的联邦模型对本地的原始公共信息进行安全处理得到所述已处理公共信息；

根据所述自身采集数据和所述已处理公共信息进行强化学习推理和训练，以优化所述智能体的控制策略。

2.如权利要求1所述的基于公共信息的强化学习实现方法，其特征在于，所述根据所述自身采集数据和所述已处理公共信息进行强化学习推理和训练，以优化所述智能体的控制策略的步骤包括：

根据所述自身采集数据、所述已处理公共信息和预设的控制策略对所述智能体作出控制动作；

生成所述控制动作对应的经验数据，并将所述经验数据保存至预设经验池中；

按照预设时间间隔从所述预设经验池中获取预设数量的所述经验数据进行强化学习训练以优化所述控制策略。

3.一种基于公共信息的强化学习实现方法，其特征在于，所述基于公共信息的强化学习实现方法应用于联邦服务端，所述联邦服务端与强化学习的智能体通信连接，所述基于公共信息的强化学习实现方法包括以下步骤：

接收所述智能体发送的公共信息获取请求；

根据所述公共信息获取请求采用预设的联邦模型对本地的原始公共信息进行安全处理得到已处理公共信息；

将所述已处理公共信息发送给所述智能体，以供所述智能体根据所述已处理公共信息和本地的自身采集数据进行强化学习推理和训练。

4.如权利要求3所述的基于公共信息的强化学习实现方法，其特征在于，所述将所述已处理公共信息发送给所述智能体，以供所述智能体根据所述已处理公共信息进行强化学习推理和训练的步骤之后，还包括：

接收所述智能体反馈的梯度信息，其中，所述智能体根据所述已处理公共信息、本地的自身采集数据和预设的控制策略对所述智能体作出控制动作，并生成所述控制动作对应的经验数据，所述智能体根据所述经验数据进行强化学习训练，并根据强化学习训练结果计算得到与所述已处理公共信息相关的所述梯度信息；

根据所述梯度信息更新所述联邦模型的模型参数。

5.如权利要求4所述的基于公共信息的强化学习实现方法，其特征在于，所述根据所述梯度信息更新所述联邦模型的模型参数的步骤之前，还包括：

根据所述梯度信息确定是否满足预设的模型参数更新条件；

若确定满足所述模型参数更新条件，则执行所述根据所述梯度信息更新所述联邦模型的模型参数的步骤。

6.如权利要求3至5任一项所述的基于公共信息的强化学习实现方法，其特征在于，所述公共信息获取请求中携带所述智能体的识别信息，

所述根据所述公共信息获取请求采用预设的联邦模型对本地的原始公共信息进行安全处理得到已处理公共信息的步骤包括：

从所述公共信息获取请求中提取所述智能体的识别信息；

按照所述识别信息对本地的原始公共信息进行预处理，得到与所述智能体相关的预处理公共信息；

采用预设的联邦模型对所述预处理公共信息进行安全处理得到已处理公共信息。

7.如权利要求3所述的基于公共信息的强化学习实现方法，其特征在于，所述根据所述公共信息获取请求采用预设的联邦模型对本地的原始公共信息进行安全处理得到已处理公共信息的步骤包括：

根据所述公共信息获取请求采用预设的联邦模型对本地的原始公共信息进行向量化处理，将向量化处理得到的向量作为已处理公共信息。