[发明专利]乒乓球机器人的深度强化学习旋转速度预测方法及系统

说明书

本申请提供了一种乒乓球机器人的深度强化学习旋转速度预测方法及系统，预测方法包括将等时间间隔的乒乓球来球位置序列归一化；将归一化序列输入到深度LSTM网络中；将得到的LSTM的状态向量输入到入射旋转估计深度神经网络中，得到入射旋转速度；计算深度强化学习的奖励反馈；将当前次击球过程的乒乓球来球位置序列、乒乓球入射旋转速度和奖励反馈组合成一次击球记忆，存入记忆库中；从记忆库中随机选取至少一条记忆，将LSTM的状态向量和乒乓球入射旋转速度输入到奖励反馈估计深度神经网络中，输出奖励反馈估计，并对入射旋转估计深度神经网络和奖励反馈估计深度神经网络进行反向传播和参数更新。本申请应对旋转球时能够准确回球。

技术领域

本申请属于乒乓球机器人技术领域，具体涉及一种乒乓球机器人的深度强化学习旋转速度预测方法及系统。

背景技术

乒乓球机器人是指能够将本方半球台反弹之后的乒乓球击打到对方半球台的自动化装置，它能够实现乒乓球多回合的对打竞技，可以广泛地应用于专业运动员的训练和业余爱好者的互动。

现阶段，国内外不少研究机构已经实现了乒乓球机器人击球的目标，然而，乒乓球机器人仍然普遍存在对转速较快的旋转球不能准确回球的不足。现有关于乒乓球机器人的击球运动控制很少考虑乒乓球的旋转速度，乒乓球机器人更多的是直接利用无旋转的模型进行回球，这使得乒乓球机器人难以对转速较快的旋转球进行准确回球。

现有对乒乓球旋转速度的预测方法，通过复杂的辅助系统(如云台加高速相机)捕捉乒乓球的局部特征(如商标)，进而计算得到乒乓球的旋转速度。这类依赖辅助的云台系统较为复杂，对相机的帧率要求很高，且在局部特征不能被相机采集时(如商标在乒乓球背面)不能有效做出旋转速度估计。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种乒乓球机器人的深度强化学习旋转速度预测方法及系统。

根据本申请实施例的第一方面，本申请提供了一种乒乓球机器人的深度强化学习旋转速度预测方法，用于对乒乓球的入射旋转速度进行深度强化学习预测，其包括以下步骤：

将等时间间隔的乒乓球来球位置序列归一化，得到归一化序列；

将归一化序列输入到深度LSTM网络中，得到LSTM的状态向量；

将LSTM的状态向量输入到入射旋转估计深度神经网络中，得到入射旋转速度；

采集机器人根据乒乓球入射旋转速度完成击球动作后的乒乓球实际回球落点空间位置和乒乓球实际回球过网高度，并根据采集到的乒乓球实际回球落点空间位置和乒乓球实际回球过网高度，以及预设的回球落点空间位置和预设的过网高度，计算得到深度强化学习的奖励反馈；

将当前次击球过程的乒乓球来球位置序列、乒乓球入射旋转速度和奖励反馈组合成一次击球记忆，存入记忆库中；

每次击球完成后，从记忆库中随机选取至少一条记忆，将LSTM的状态向量和乒乓球入射旋转速度输入到奖励反馈估计深度神经网络中，输出奖励反馈估计，并对入射旋转估计深度神经网络和奖励反馈估计深度神经网络进行反向传播和参数更新。

上述乒乓球机器人的深度强化学习旋转速度预测方法中，所述将等时间间隔的乒乓球来球位置序列归一化的过程为：

P_{in_normed}[n]＝-1+2*(P_in[n]-P_min)/(P_max-P_min)，

式中，P_{in_normed}[n]表示归一化序列，P_in[n]表示n点乒乓球来球位置序列，P_min表示乒乓球在x、y和z轴三个方向上位置最小值的向量，P_max表示乒乓球在x、y和z轴三个方向上位置最大值的向量。