[发明专利]基于深度强化学习的机器人环境识别方法及系统

说明书

本发明实施方式提供一种基于深度强化学习的机器人环境识别方法及系统，属于机器人的控制技术领域。所述方法包括：基于全局特征对所述机器人即时拍摄的视觉图像进行描述；基于深度强化学习算法在预设的数据库图像集中对所述视觉图像进行匹配以得到当前的环境识别结果。本发明提供的基于深度强化学习的机器人环境识别方法及系统通过采用全局特征对视觉图像进行描述，并基于深度强化学习算法在预设的数据库图像集中对视觉图像进行匹配，解决了现有技术中视觉描述子依赖设计者的先验概率的技术问题，提高了视觉环境识别的准确率。

技术领域

本发明涉及机器人的控制技术领域，具体地涉及一种基于深度强化学习的机器人环境识别方法及系统。

背景技术

环境识别是机器人学和计算机视觉等相关领域中的一个前沿研究热点，是机器人实现自主视觉导航定位的核心技术。近年来，尽管移动机器人视觉环境识别研究已取得重大进展，但其实用化仍然面临巨大挑战。其主要原因是用于生成视觉环境描述子的视觉特征表示方法无法适应外界环境的变化。视觉环境描述子的性能极大程度地依赖于视觉特征表示方法然而目前的视觉特征表示方法主要借鉴于计机器视觉的传统手工特征。这些传统手工特征主要依靠设计者的先验知识，并且由于依赖手工调参。这样会导致特征模型主要关注低层次特征，表达能力不足，导致提取特征的不变性有限，特别是在环境发生变化时更会严重消减，因此较大程度上影响视觉环境描述算法的稳健性，最终降低视觉环境识别的准确率。

发明内容

本发明实施方式的目的是提供一种基于深度强化学习的机器人环境识别方法及系统，该方法及系统能够克服现有技术中视觉描述子依赖设计者的先验概率的技术问题，提高了视觉环境识别的准确率。

为了实现上述目的，本发明实施方式提供一种基于深度强化学习的机器人环境识别方法，所述方法包括：

基于全局特征对所述机器人即时拍摄的视觉图像进行描述；

基于深度强化学习算法在预设的数据库图像集中对所述视觉图像进行匹配以得到当前的环境识别结果。

可选地，基于全局特征对所述视觉图像进行描述具体包括：

将所述视觉图像输入训练好的卷积神经网络中进行前向推理；

对所述卷积神经网络的全局特征进行归一化处理操作得到全局特征向量以作为视觉描述子，其中，所述全局特征包括所述卷积神经网络中每个网络层输出的网络特征。

可选地，所述方法进一步包括：

在将所述视觉图像输入训练好的卷积神经网络中进行前向推理前，缩放所述视觉图像至预定尺寸。

可选地，基于深度强化学习算法在预设的数据库图像集中对所述视觉图像进行匹配以得到当前的环境识别结果具体包括：

根据所述数据库图像集构建环境地图以形成地点记忆。

可选地，根据所述数据库图像集构建环境地图以形成地点记忆具体包括：

将所述数据库图像集中的每个图像分别输入所述卷积神经网络中以得到对应的全局特征向量；

以所述全局特征向量为基础建立树索引；

将所述全局特征向量、对应的所述图像的图像边界框和所述图像的来源关联以形成查询表；

分别根据每个所述全局特征向量生成对应的哈希码以形成哈希码数据库；

将所述查询表、所述哈希码数据库和所述树索引组合以形成所述地点记忆。

可选地，所述方法进一步包括：

基于所述树索引对所述视觉图像进行粗匹配；

基于所述查询表和所述哈希码数据库对所述视觉图像进行精匹配。