[发明专利]智能设备控制方法、设备及可读存储介质

权利要求书

1.一种智能设备控制方法，其特征在于，应用于多足机器人，所述智能设备控制方法包括：

获取预设智能设备对应的设备状态信息；

基于所述设备状态信息，对所述预设智能设备进行基于强化学习的动作决策分析，获得控制作用信息，其中，所述控制作用信息为控制作用模块的选择和组合信息，所述控制作用信息包括控制作用向量；

基于所述控制作用向量中各比特位上的控制作用标识，进行多个所述控制作用模块的选择和组合，获得控制作用模块序列；

基于所述控制作用模块序列和所述设备状态信息中的控制输入信息，生成控制输入信息在所述控制作用模块序列中各控制作用模块下的输出控制信号数据；

控制所述预设智能设备根据所述输出控制信号数据作出对应的目标控制动作组合。

2.如权利要求1所述智能设备控制方法，其特征在于，所述基于所述设备状态信息，对所述预设智能设备进行基于强化学习的动作决策分析，获得控制作用信息的步骤包括：

将所述设备状态信息输入预设强化学习模型，以基于所述设备状态信息，对所述预设智能设备进行控制作用预测，获得控制作用预测结果；

基于所述控制作用预测结果，生成所述控制作用信息。

3.如权利要求2所述智能设备控制方法，其特征在于，所述控制作用预测结果包括控制作用预测得分数据，

所述基于所述控制作用预测结果，生成所述控制作用信息的步骤包括：

基于预设预测得分阈值，在所述控制作用预测得分数据中筛选目标控制作用得分数据；

基于所述目标控制作用得分数据，生成所述控制作用信息。

4.一种智能设备控制方法，其特征在于，应用于多足机器人，所述智能设备控制方法包括：

获取预设智能设备的当前设备状态信息和待训练强化学习模型；

基于所述当前设备状态信息和所述待训练强化学习模型，对所述预设智能设备进行动作决策分析，获得当前控制作用信息，其中，所述当前控制作用信息为当前时间步的控制作用模块的选择和组合信息，所述当前控制作用信息包括当前控制作用向量；

基于所述当前控制作用向量中各比特位上的控制作用标识，进行多个所述当前时间步的控制作用模块的选择和组合，获得当前控制作用模块序列；

基于所述当前控制作用模块序列和所述当前设备状态信息中的控制输入信息，生成控制输入信息在所述当前控制作用模块序列中各当前控制作用模块下的当前控制信号数据；

基于所述当前控制信号数据，控制所述预设智能设备作出当前控制动作组合；

基于所述当前控制动作组合，对所述待训练强化学习模型进行迭代训练优化，直至所述待训练强化学习模型满足预设迭代训练结束条件，将所述待训练强化学习模型作为预设强化学习模型。

5.如权利要求4所述智能设备控制方法，其特征在于，所述基于所述当前控制动作组合，对所述待训练强化学习模型进行迭代训练优化，直至所述待训练强化学习模型满足预设迭代训练结束条件，将所述待训练强化学习模型作为预设强化学习模型的步骤包括：

对所述当前控制动作组合进行动作响应评估，获得累计奖励信息；

基于所述累计奖励信息，对所述待训练强化学习模型进行网络权重优化，获得优化强化学习模型；

基于所述累计奖励信息，生成第二设备状态信息；

基于所述第二设备状态信息，对所述优化强化学习模型进行迭代训练，直至所述优化强化学习模型满足预设迭代训练结束条件，将所述优化强化学习模型作为预设强化学习模型。

6.如权利要求5所述智能设备控制方法，其特征在于，所述基于所述累计奖励信息，生成第二设备状态信息的步骤包括：

采集下一时间步的环境状态信息、下一时间步的强化学习任务信息和下一时间步的控制输入状态信息；

对所述下一时间步的环境状态信息、所述下一时间步的强化学习任务信息、所述下一时间步的控制输入状态信息和所述累计奖励信息进行融合，获得所述第二设备状态信息。