[发明专利]人体模型的控制方法、装置、电子设备以及存储介质

权利要求书

1.一种人体模型的控制方法，其特征在于，所述方法包括以下步骤：

按照设定行进速度取值从大到小的顺序，对行走模型进行训练；其中，向仿真客户端发送样本控制信息；从仿真客户端获取样本特征信息和反馈信息；其中，所述样本特征信息，是所述仿真客户端根据所述样本控制信息对所述仿真客户端运行的人体模型进行控制后生成的；所述反馈信息，用于指示所述样本特征信息与设定行进速度之间的差异；采用所述样本特征信息、所述反馈信息和所述样本控制信息，对所述行走模型进行训练；

获取用于指示人体模型状态的特征信息；

将所述特征信息输入行走模型的多个策略网络，得到各策略网络输出的控制信息；所述多个策略网络在训练过程中采用了不同的学习率；

采用行走模型的价值网络对每一个策略网络输出的控制信息进行评分；所述评分，用于指示采用相应控制信息进行控制后的人体模型符合设定行进速度的概率；

根据所述评分，从各策略网络输出的控制信息中确定目标控制信息；

根据所述目标控制信息，控制人体模型。

2.根据权利要求1所述的控制方法，其特征在于，所述价值网络为多个，所述多个价值网络在训练过程中采用了不同的学习率；

所述采用行走模型的价值网络对每一个策略网络输出的控制信息进行评分，包括：

将所述特征信息、一个控制信息以及所述设定行进速度作为输入信息，输入所述多个价值网络中，得到各价值网络对相应控制信息的评分。

3.根据权利要求2所述的控制方法，其特征在于，所述根据所述评分，从各策略网络输出的控制信息中确定目标控制信息，包括：

对每一个策略网络输出的控制信息，计算多个价值网络对相应控制信息的评分之和；

将所述评分之和为最大的控制信息，作为所述目标控制信息。

4.根据权利要求1所述的控制方法，其特征在于，所述仿真客户端为多个。

5.根据权利要求1所述的控制方法，其特征在于，所述反馈信息是采用奖励函数计算得到的；

所述设定行进速度按照取值从大到小划分为多个训练阶段；各训练阶段具有对应的奖励函数。

6.根据权利要求5所述的控制方法，其特征在于，所述多个训练阶段包括设定行进速度递减的第一阶段、第二阶段和第三阶段；

其中，所述第一阶段的奖励函数，是根据关节受力信息和相邻时刻人体模型左右脚的位移量确定的；

所述第二阶段的奖励函数，是根据人体模型行进速度与设定行进速度之间的差异和样本控制信息的L2范数确定的；

所述第三阶段的奖励函数，是根据人体模型行进速度与设定行进速度之间的差异和肌肉激活量确定的。

7.一种人体模型的控制装置，其特征在于，所述装置包括：

训练模块，用于按照设定行进速度取值从大到小的顺序，对行走模型进行训练；其中，所述训练模块，具体用于：向仿真客户端发送样本控制信息；从仿真客户端获取样本特征信息和反馈信息；其中，所述样本特征信息，是所述仿真客户端根据所述样本控制信息对所述仿真客户端运行的人体模型进行控制后生成的；所述反馈信息，用于指示所述样本特征信息与设定行进速度之间的差异；采用所述样本特征信息、所述反馈信息和所述样本控制信息，对所述行走模型进行训练；

获取模块，用于获取用于指示人体模型状态的特征信息；

输入模块，用于将所述特征信息输入行走模型的多个策略网络，得到各策略网络输出的控制信息；所述多个策略网络在训练过程中采用了不同的学习率；

评分模块，用于采用行走模型的价值网络对每一个策略网络输出的控制信息进行评分；所述评分，用于指示采用相应控制信息进行控制后的人体模型符合设定行进速度的概率；

确定模块，用于根据所述评分，从各策略网络输出的控制信息中确定目标控制信息；

控制模块，用于根据所述目标控制信息，控制人体模型。