[发明专利]自平衡设备的平衡控制方法、装置、设备及存储介质

权利要求书

1.一种自平衡设备的平衡控制方法，其特征在于，包括：

获取所述自平衡设备偏离平衡状态的当前位姿变化参数；

根据所述当前位姿变化参数获得所述自平衡设备的当前线性控制率；

根据所述当前位姿变化参数和所述当前线性控制率获得主控制输入；

根据所述当前位姿变化参数获得当前状态向量；

基于所述当前状态向量获得副控制输入；

根据所述主控制输入和所述副控制输入获得当前致动数据，以驱使所述自平衡设备恢复平衡。

2.根据权利要求1所述的方法，其特征在于：

所述自平衡设备包括驱动体和滚动体；

所述当前位姿变化参数包括所述驱动体的当前倾斜角度和当前倾斜角速度，以及所述滚动体的当前转动角度和当前转动角速度；

所述根据所述主控制输入和所述副控制输入获得当前致动数据，以驱使所述自平衡设备恢复平衡包括：

根据所述主控制输入和所述副控制输入获得当前致动数据，以使所述驱动体根据所述当前致动数据对所述滚动体施加致动力矩驱动所述滚动体滚动，以使所述驱动体恢复平衡。

3.根据权利要求2所述的方法，其特征在于：

所述当前位姿变化参数还包括高度变化参数；

所述根据所述当前位姿变化参数获得当前状态向量包括：

根据所述驱动体的当前倾斜角度和当前倾斜角速度、所述滚动体的当前转动角度和当前转动角速度、以及所述驱动体的高度变化参数获得所述当前状态向量。

4.根据权利要求2所述的方法，其特征在于，所述基于所述当前状态向量获得副控制输入包括：

获取当前在线策略网络；

将所述当前状态向量输入所述当前在线策略网络，获得所述副控制输入。

5.根据权利要求4所述的方法，其特征在于，还包括：

获取当前在线行为值网络、当前目标行为值网络和当前目标策略网络；

获取当前奖励；

获得下一时间步的状态向量；

基于所述当前状态向量、所述当前调整行为、所述当前奖励和所述下一时间步的状态向量和所述当前目标策略网络，通过所述当前目标行为值网络更新所述当前在线行为值网络；

基于所述当前状态向量、所述当前调整行为和所述下一时间步的状态向量，根据更新的在线行为值网络更新所述当前在线策略网络；

获取软更新参数；

根据所述软更新参数和更新的当前在线行为值网络对所述当前目标行为值网络进行软更新；

根据所述软更新参数和更新的当前在线策略网络对所述当前目标策略网络进行软更新。

6.根据权利要求5所述的方法，其特征在于，所述获取当前奖励包括：

获取奖励函数，所述奖励函数中的变量为驱动体的倾斜角度；

将所述驱动体的当前倾斜角度代入所述奖励函数，获得所述当前奖励。

7.根据权利要求5所述的方法，其特征在于，所述基于所述当前状态向量、所述当前调整行为、所述当前奖励和所述下一时间步的状态向量和所述当前目标策略网络，通过所述当前目标行为值网络更新所述当前在线行为值网络包括：

基于所述当前奖励、所述下一时间步的状态向量和所述当前目标策略网络，通过所述当前目标行为值网络获得预测行为值；

基于所述当前状态向量、所述当前调整行为和所述预测行为值，通过所述当前在线行为值网络获得在线行为值网络损失函数；

通过最小化所述在线行为值网络损失函数，更新所述当前在线行为值网络。

8.根据权利要求5所述的方法，其特征在于，所述基于所述当前状态向量、所述当前调整行为和所述下一时间步的状态向量，根据更新的在线行为值网络更新所述当前在线策略网络包括：

基于所述当前状态向量、所述当前调整行为和所述下一时间步的状态向量，获得所述更新的在线行为值网络梯度和所述当前在线策略网络梯度；

根据所述更新的在线行为值网络梯度和所述当前在线策略网络梯度，采用链式规则更新所述当前在线策略网络。