[发明专利]乒乓球机器人的深度强化学习旋转速度预测方法及系统

权利要求书

1.一种乒乓球机器人的深度强化学习旋转速度预测方法，用于对乒乓球的入射旋转速度进行深度强化学习预测，其特征在于，包括以下步骤：

将等时间间隔的乒乓球来球位置序列归一化，得到归一化序列；

将归一化序列输入到深度LSTM网络中，得到LSTM的状态向量；

将LSTM的状态向量输入到入射旋转估计深度神经网络中，得到入射旋转速度；

采集机器人根据乒乓球入射旋转速度完成击球动作后的乒乓球实际回球落点空间位置和乒乓球实际回球过网高度，并根据采集到的乒乓球实际回球落点空间位置和乒乓球实际回球过网高度，以及预设的回球落点空间位置和预设的过网高度，计算得到深度强化学习的奖励反馈；

将当前次击球过程的乒乓球来球位置序列、乒乓球入射旋转速度和奖励反馈组合成一次击球记忆，存入记忆库中；

每次击球完成后，从记忆库中随机选取至少一条记忆，将LSTM的状态向量和乒乓球入射旋转速度输入到奖励反馈估计深度神经网络中，输出奖励反馈估计，并对入射旋转估计深度神经网络和奖励反馈估计深度神经网络进行反向传播和参数更新。

2.根据权利要求1所述的乒乓球机器人的深度强化学习旋转速度预测方法，其特征在于，所述将等时间间隔的乒乓球来球位置序列归一化的过程为：

P_{in_normed}[n]＝-1+2*(P_in[n]-P_min)/(P_max-P_min)，

式中，P_{in_normed}[n]表示归一化序列，P_in[n]表示n点乒乓球来球位置序列，P_min表示乒乓球在x、y和z轴三个方向上位置最小值的向量，P_max表示乒乓球在x、y和z轴三个方向上位置最大值的向量。

3.根据权利要求1所述的乒乓球机器人的深度强化学习旋转速度预测方法，其特征在于，所述入射旋转估计深度神经网络包括m层，具体为：

m层入射旋转估计深度神经网络的最后一层不使用激活函数，其余层使用Relu函数作为激活函数；

式中，Weight_i和bias_i均为第i+1层网络参数，Layer(i)为第i+1层网络输出，W_in为入射旋转估计深度神经网络输出的乒乓球入射旋转速度。

4.根据权利要求1或2或3所述的乒乓球机器人的深度强化学习旋转速度预测方法，其特征在于，所述深度强化学习的奖励反馈为：

式中，distance_loss表示实际回球落点空间位置的偏差损失，height_loss表示过网高度的偏差损失。

5.根据权利要求4所述的乒乓球机器人的深度强化学习旋转速度预测方法，其特征在于，所述实际回球落点空间位置的偏差损失distance_loss通过下式计算得到：

系数a₀,a₁,a₂,b₁,b₂以及取值范围的边界c₁,c₂满足以下约束：

6.根据权利要求4所述的乒乓球机器人的深度强化学习旋转速度预测方法，其特征在于，所述过网高度的偏差损失height_loss通过下式计算得到：

系数d₀,d₁,d₂,e₁,e₂以及取值范围的边界f₁,f₂满足以下约束：