[发明专利]一种里程计数据源动态选择方法、装置和设备

权利要求书

1.一种里程计数据源动态选择方法，其特征在于，包括：

对采集的当前环境图像进行网格分割，得到若干个等大小的网格图像；

基于确定好的起始点和目标点，在所述网格图像中选择一条从所述起始点至所述目标点的路径；

将所述路径转换为Q-table格式，所述Q-table的列为动作，所述Q-table的行为状态，所述Q-table中的值为Q值，不同动作对应不同的里程计数据源；

基于强化学习模型对所述Q-table中的Q值进行训练，当达到收敛条件时，输出训练好的Q值；

基于所述训练好的Q值动态选择最佳的动作，得到所述最佳的动作对应的里程计数据源，其中，当机器人从当前状态移动到下一状态的过程中，当前状态选择的下一状态的里程计数据源用于记录从当前状态移动到下一状态的里程计信息；

所述基于强化学习模型对所述Q-table中的Q值进行训练，当达到收敛条件时，输出训练好的Q值，具体包括：

基于epsilon-Greedy算法选择下一状态的里程计数据源；

计算奖励值，具体包括，基于奖赏函数计算奖励值，所述奖赏函数为：

其中，R为奖励值，α为距离代价的权值，β为距离阈值，d为所述机器人实际位置与目标点位置的距离代价；

基于所述当前状态的Q值和所述奖励值计算得到新Q值，基于所述新Q值更新所述当前状态的Q值；

当机器人运行到下一状态，返回所述基于epsilon-Greedy算法选择下一状态的里程计数据源的步骤，当达到收敛条件时，输出训练好的Q值。

2.根据权利要求1所述的里程计数据源动态选择方法，其特征在于，所述基于所述训练好的Q值动态选择最佳的动作，得到所述最佳的动作对应的里程计数据源，之前还包括：

返回所述基于确定好的起始点和目标点，在所述网格图像中选择一条从所述起始点至所述目标点的路径的步骤，直到所述起始点至所述目标点的全部路径选择完成，得到所有路径中训练好的Q值。

3.根据权利要求1所述的里程计数据源动态选择方法，其特征在于，所述基于epsilon-Greedy算法选择下一状态的里程计数据源，具体包括：

设置在预置范围内的epsilon值；

采用随机数生成算法在所述预置范围内生成随机数，当所述随机数小于或等于所述epsilon值时，基于随机方法随机选择下一状态的里程计数据源；

当所述随机数大于所述epsilon值时，基于计算得到的下一状态的Q估计值选择下一状态的里程计数据源。

4.根据权利要求1所述的里程计数据源动态选择方法，其特征在于，所述基于所述当前状态的Q值和所述奖励值计算得到新Q值，基于新Q值更新所述当前状态的Q值，包括：

基于所述当前状态的Q值和所述奖励值，根据Bellman方程计算得到新Q值，基于所述新Q值更新所述当前状态的Q值。

5.根据权利要求1所述的里程计数据源动态选择方法，其特征在于，还包括：

当所述机器人运行到下一状态时，若所述下一状态的位置偏离所述路径，则基于重定位方法修正所述机器人运行到所述下一状态的位置。