[发明专利]一种模型训练和控制无人设备的方法及装置

权利要求书

1.一种模型训练的方法，其特征在于，包括：

将环境信息分别输入强化学习模型中的强化学习网络和非强化学习算法模块，得到所述强化学习网络输出的第一控制策略和所述非强化学习算法模块输出的第二控制策略；

确定所述第一控制策略的安全性表征值；

根据所述安全性表征值，在所述第一控制策略和第二控制策略中选择待优化控制策略；

根据所述待优化控制策略，确定变化后的环境信息；

根据变化后的环境信息确定所述待优化控制策略的奖励；

以所述奖励最大化为训练目标，调整所述强化学习模型中的强化学习网络的参数，其中，训练后的强化学习模型用于输出控制无人设备的控制策略；

根据所述安全性表征值，在所述第一控制策略和第二控制策略中选择待优化控制策略，具体包括：

判断所述安全性表征值是否低于预设阈值；

若是，将所述第二控制策略作为待优化控制策略；

否则，将所述第一控制策略作为待优化控制策略。

2.如权利要求1所述的方法，其特征在于，确定所述第一控制策略的安全性表征值，具体包括：

根据所述第一控制策略以及预设的第一仿真模型，得到所述第一仿真模型输出的第一仿真结果；

根据所述第一仿真结果确定第一控制策略的安全性表征值；

根据所述待优化控制策略，确定变化后的环境信息，具体包括：

根据所述待优化控制策略以及预设的第二仿真模型，得到所述第二仿真模型输出的第二仿真结果；

根据所述第二仿真结果确定变化后的环境信息；

其中，所述第一仿真模型的仿真精度低于所述第二仿真模型的仿真精度。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述第二仿真模型和所述第一仿真模型的仿真精度之差，对训练后的强化学习模型进行调整。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

根据所述第二仿真模型和所述第一仿真模型的仿真精度之差，确定补偿参数并存储；所述补偿参数用于补偿所述训练后的强化学习模型输出的控制策略。

5.一种模型训练的装置，其特征在于，包括：

输入模块，用于将环境信息分别输入强化学习模型中的强化学习网络和非强化学习算法模块，得到所述强化学习网络输出的第一控制策略和所述非强化学习算法模块输出的第二控制策略；

安全评估模块，用于确定所述第一控制策略的安全性表征值；

选择模块，用于根据所述安全性表征值，在所述第一控制策略和第二控制策略中选择待优化控制策略；

反馈模块，用于根据所述待优化控制策略，确定变化后的环境信息；

奖励模块，用于根据变化后的环境信息确定所述待优化控制策略的奖励；

训练模块，用于以所述奖励最大化为训练目标，调整所述强化学习模型中的强化学习网络的参数，其中，训练后的强化学习模型用于输出控制无人设备的控制策略；

所述选择模块具体用于，判断所述安全性表征值是否低于预设阈值；若是，将所述第二控制策略作为待优化控制策略；否则，将所述第一控制策略作为待优化控制策略。

6.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-4任一项所述的方法。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-4任一项所述的方法。