[发明专利]基于云平台共享学习系统及方法、共享平台及方法、介质

说明书

本发明提供了一种基于云平台的机器人共享学习系统，其包括私有模型生成终端和云融合计算共享平台，私有模型生成终端用于将本地生成的私有模型及用于生成私有模型而收集的环境特征信息上传云融合计算共享平台，云融合计算共享平台包括模型融合计算模块，模型融合计算模块用于将上传的私有模型，结合其他机器人终端、私有模型生成终端及/或其他私有模型生成终端上传的环境特征信息与云融合计算共享平台上存储的共享模型进行融合计算，生成新的共享模型，新的共享模型用于供其他机器人终端、私有模型生成终端及/或其他私有模型生成终端下载及/或学习。

技术领域

本发明涉及一种机器人共享学习系统及方法，尤其是一种用于仓储物流的基于云平台的机器人共享学习系统及方法。

背景技术

机器人导航指的是给定机器人一个目标点，机器人能够不碰到障碍地到达目标点，同时又应该使得路径尽可能短。基于强化学习在进行路径规划的决策模型学习是目前较先进方法。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforcement learningsystem)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。然而这种方式依然存在一些缺点，其中就包括受制于训练环境的设定、训练时间较长、无法利用以前或者其他机器人学习的经验等。

机器人云共享技术是结合云计算技术解决机器人领域中的一些问题的技术。利用机器人云共享技术能够有效地解决机器人导航决策模型中的训练中训练时间长，无法进行经验融合的问题。中国专利CN108801269A提出了一种室内云机器人导航系统，但是该系统并没有在具体的路径规划方面提出方法，只是在地图定位方面提出了方法，不能够解决训练时间长、和经验融合的问题。目前还没有关于机器人通过云共享技术强化学习进行导航决策模型学习系统的发明。

发明内容

本发明要解决的技术问题是机器人导航受制于训练环境的设定、训练时间较长、无法利用以前或者其他机器人学习的经验。

为解决上述技术问题，本发明提供一种基于云平台的机器人共享学习系统，其包括私有模型生成终端和云融合计算共享平台，所述私有模型生成终端用于将本地生成的私有模型及用于生成所述私有模型而收集的环境特征信息上传所述云融合计算共享平台，所述云融合计算共享平台包括模型融合计算模块，所述模型融合计算模块用于将上传的所述私有模型，结合其他机器人终端、所述私有模型生成终端及/或其他私有模型生成终端上传的环境特征信息与所述云融合计算共享平台上存储的共享模型进行融合计算，生成新的共享模型，所述新的共享模型用于供其他机器人终端、所述私有模型生成终端及/或其他私有模型生成终端下载及/或学习。

根据本发明优选实施例，所述私有模型生成终端包括特性收集模块、环境仿真模块、强化及迁移学习模块，所述特性收集模块用于收集环境特征信息，所述环境仿真模块用于利用所述环境特征信息生成环境模型，所述强化及迁移学习模块包括强化学习单元，所述强化学习单元用于在所述环境模型上输入所述环境特征信息后进行强化学习，输出所述私有模型，所述私有模型包括所述环境模型及所述私有模型生成终端针对所述环境模型生成的导航策略。

根据本发明优选实施例，所述强化及迁移学习模块还包括迁移计算单元，所述迁移计算单元用于在将所述环境特征信息输入到下载的共享模型后，进行迁移计算，输出新的环境特征信息，供所述强化学习单元进行强化学习，以输出新的私有模型，所述私有模型生成终端也将所述新的私有模型上传至所述云融合计算共享平台以进一步进行融合计算。

根据本发明优选实施例，所述私有模型生成终端采用智能机器人终端、电脑终端或其他智能终端设备。