[发明专利]一种实现路径跟随的方法和装置

权利要求书

1.一种实现路径跟随的方法，其特征在于，包括：

采集一条或多条规划路径和与所述规划路径相对应的实际路径，根据所述实际路径上的实际位置，确定所述实际位置与所述规划路径上对应于所述实际位置的目标位置的位置误差及所述目标位置对应的曲率信息；

根据所述位置误差、所述曲率信息，基于深度强化学习网络，训练得到用于根据所述位置误差、所述曲率信息输出控制指令的路径跟随控制模型，所述控制指令指示了跟随所述规划路径的运动方向、运动速度；

根据当前实际位置与待跟随路径上对应于所述当前实际位置的当前目标位置的位置误差及对应的曲率信息，使用所述路径跟随控制模型，获取对应的当前控制指令，用以根据所述当前控制指令对所述待跟随路径进行跟随。

2.根据权利要求1所述的实现路径跟随的方法，其特征在于，

所述深度强化学习网络为Deep Q Network网络。

3.根据权利要求1所述的实现路径跟随的方法，其特征在于，所述深度强化学习网络包括：深度学习神经网络和强化学习神经网络；

所述深度学习神经网络，用于根据所述位置误差、所述曲率信息生成状态函数，所述状态函数用于预测其他所述位置误差和相对应的所述曲率信息；

所述强化学习神经网络，用于根据所述状态函数所预测的所述位置误差、所述曲率信息生成一个或多个控制指令，并对所述一个或多个控制指令评分，根据所述评分的最大值，确定所述位置误差、所述曲率信息对应的控制指令。

4.根据权利要求1所述的实现路径跟随的方法，其特征在于，

所述深度强化学习网络包括两个结构一致但参数不同的神经网络：目标值神经网络、当前值神经网络；所述目标值神经网的参数与所述当前值神经网络历史参数一致；

使用所述目标值神经网络与所述当前值神经网络分别获取所述曲率信息、所述位置误差对应的控制指令的评分，并通过反向传递所述控制指令的评分差值实现对所述当前值神经网络参数的更新，直至根据所述当前值神经网络输出的控制指令采集的与所述规划路径相对应的实际路径上的实际位置与所述规划路径上对应于所述实际位置的目标位置的位置误差小于阈值位置误差；

在所述当前值神经网络参数的更新次数小于阈值次数的情况下，不更新所述目标值神经网络参数，在所述当前值神经网络参数的更新次数不小于阈值次数的情况下，更新所述目标值神经网络参数。

5.一种实现路径跟随的装置，其特征在于，包括：信息采集模块、模型获取模块、路径跟随模块；其中，

所述信息获取模块，用于采集一条或多条规划路径和与所述规划路径相对应的实际路径，根据所述实际路径上的实际位置，确定所述实际位置与所述规划路径上对应于所述实际位置的目标位置的位置误差及所述目标位置对应的曲率信息；

所述模型获取模块，用于根据所述位置误差、所述曲率信息，基于深度强化学习网络，训练得到用于根据所述位置误差、所述曲率信息输出控制指令的路径跟随控制模型，所述控制指令指示了跟随所述规划路径的运动方向、运动速度；

所述路径跟随模块，用于根据当前实际位置与待跟随路径上对应于所述当前实际位置的当前目标位置的位置误差及对应的曲率信息，使用所述路径跟随控制模型，获取对应的当前控制指令，用以根据所述当前控制指令对所述待跟随路径进行跟随。

6.根据权利要求5所述的实现路径跟随的装置，其特征在于，

所述深度强化学习网络为Deep Q Network网络。

7.根据权利要去1所述的实现路径跟随的装置，其特征在于，所述深度强化学习网络包括：深度学习神经网络和强化学习神经网络；

所述深度学习神经网络，用于根据所述位置误差、所述曲率信息生成状态函数，所述状态函数用于预测其他所述位置误差和相对应的所述曲率信息；

所述强化学习神经网络，用于根据所述状态函数所预测的所述位置误差、所述曲率信息生成一个或多个控制指令，并对所述一个或多个控制指令评分，根据所述评分的最大值，确定所述位置误差、所述曲率信息对应的控制指令。