[发明专利]复杂场景自主移动机器人自监督学习及导航方法

说明书

本发明提供一种复杂场景自主移动机器人自监督学习及导航方法，具体步骤包括：设置机器人的训练次数；采集机器人所在环境的实际状态图像；将采集的实际状态图像与机器人执行动作前所预测的预测状态图像比较，计算所述实际状态图像与所述预测状态图像之间的损失函数，根据所述的损失函数计算奖惩信号，根据奖惩信号更新网络权重，预测机器人的动作和预测状态图像；机器人执行动作，记录已完成训练次数；判断其是否达到预先设置的训练次数，若结果为否，则返回继续训练；若结果为是，则加权所有的奖惩信号，更新网络权重，结束训练。本发明结合视频预测技术和强化学习技术，解决了强化学习技术应用到机器人中时人工标记的工作量大的问题。

技术领域

本发明具体涉及复杂场景自主移动机器人自监督学习及导航方法。

背景技术

自主移动机器人广泛应用到生产、生活等多个领域，其所面临的场景越来越复杂。传统方法都需要大量人工标记图像数据，以让机器人的深度神经网络学习相关数据。SLAM(Simultaneous Localization And Mapping)方法需要不断测量机器人与目标的相对位置和相对角度，这些目标也需要人工标记和筛选，在很多实际任务中很难找到这样比较合适的目标。强化学习技术应用到机器人中解决现实场景中的问题需要标记大量数据，人工标记的工作量较大，且人工也不可能标记完所有数据。

所以，需要一种能够进行自监督学习且学习过程中不需要人工标记数据的方法，来弥补现有技术中的不足。

发明内容

因此，本发明提供一种复杂场景自主移动机器人自监督学习及导航方法，来解决现有技术中强化学习技术应用到机器人中解决现实场景中的问题时需要标记大量数据，人工标记的工作量大的问题。

一种复杂场景自主移动机器人自监督学习及导航方法，具体步骤如下：

步骤1，预先设置机器人的训练次数；

步骤2，采集机器人所在环境的实际状态图像；

步骤3，将步骤2中所采集的实际状态图像与机器人执行动作前一时刻所预测的预测状态图像相比较，并计算所述实际状态图像与所述预测状态图像之间的损失函数，然后根据所述的损失函数计算奖惩信号rs，然后根据奖惩信号rs更新网络权重；

步骤4，预测机器人的动作，并预测机器人执行该动作后相应的预测状态图像；

步骤5，机器人执行动作，记录已完成训练的次数；

步骤6，判断已完成训练的次数是否达到预先设置的训练次数，如果判断结果为否，则返回步骤2继续训练；如果判断结果为是，则加权所有的奖惩信号rs，并更新网络权重；然后结束训练。

本发明结合视频预测技术和强化学习技术，并将其应用到了复杂场景自主移动机器人之中。本发明利用视频预测网络来比较预测图像和实际图像的损失，并通过所述损失来计算奖惩激励信号，以校正预测动作的网络权重。采用这样的方法，大大地减少了人工标记及人工干预的工作量。提升了工作的效率。并且因为减少了人工标记，从而更大程度上避免了人工操作可能出现的错误，提升了准确性。

进一步的，所述步骤3具体包括如下步骤：

在t1时刻采集实际状态图像i1’，将所述实际状态图像i1’输入视频预测网络NN1；利用所述视频预测网络NN1计算出下一时刻t2的预测状态图像i2和动作，所述t2时刻指机器人执行动作后的时刻；

在t2时刻采集实际状态图像i2’，通过综合损失La和图像深度学习损失Lgdl共同计算预测状态图像i2和实际状态图像i2’的损失loss，然后通过所述损失loss计算奖惩信号rsrs，然后根据所述奖惩信号rsrs更新所述视频预测网络NN1的网络权重。

进一步的，所述机器人通过控制信号action来执行动作，所述控制信号action由视频预测网络NN1计算得出。