[发明专利]一种基于多任务网络模型定位的方法及系统

说明书

本发明公开了一种基于多任务确定机器人位姿的方法及系统，本发明实施例构建多任务网络模型，包括全局位姿回归子网络和相对位姿估计子网络，其中，全局位姿回归子网络中的卷积部分采用Resnet50结构构建，全局位姿回归子网络的最后一层设置为全连接层，以机器人拍摄的单帧图像作为输入，以机器人的位姿信息作为输出；相对位姿估计子网络采用Resnet50结构构建，包括两个线程网络、一个卷积子网络及全连接层，将机器人拍摄的相邻帧图像作为输入，输入到两个线程网络中，两个线程网络通过共享残差生成抽象特征，将生成的抽象特征在卷积子网络串联后，输出到全连接层处理，以机器人的相对位姿信息作为输出。因此，本发明实施例准确确定机器人的当前位姿，提高机器人的重定位精度。

技术领域

本发明涉及计算机领域的图像处理技术，特别涉及一种基于多任务网络模型定位的方法及系统。

背景技术

即时定位与地图构建(SLAM，simultaneous localization and mapping)技术可以描述为：将一个机器人放入未知环境中的未知位置，让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图(a consistent map)是指不受障碍行进到房间可进入的每个角落的地图。在采用SLAM技术可以对环境中的机器人进行定位，确定机器人当前的位姿，即机器人的位置(采用三维向量表示)及姿态(采用四元数表示)。

目前，采用SLAM技术对机器人进行重定位的方式主要有两种，以下分别说明。

第一种方式，基于外观的重定位依靠数据集实现，数据集采用区域内对应各个位置及机器人姿态的密集分布的关键帧来表示，当要确定机器人位姿时，基于所获取的当前位置及当前姿态下拍摄的当前帧图像通过词典搜索方式搜索数据集，从中确定最相似的多个关键帧，根据相似关键帧中的共同特征点进行计算，得到当前机器人的位姿信息；

另一种方式是基于深度学习的重定位方式：训练得到神经网络模型，当要确定机器人位姿时，将所获取的当前拍摄的当前帧图像输入到训练得到的神经网络模型中，输出得到当前机器人的位姿信息。

采用上述两种方式存在缺陷：第一种方式中，在纹理较少的场景下，当前帧图像无法提取到足够的特征点，因此无法与关键帧进行特征匹配，从而导致机器人在重定位时计算位姿失败。在另一种方式中，采用神经网络模型实现机器人重定位，虽然在当前帧图像比较模糊的情况下，仍然可以得到机器人当前的位姿信息，完成对机器人的重定位，但是由于单一任务的神经网络模型内部预测具有局限性，在预测机器人当前的位姿信息时误差有时会突然增大，导致对机器人的重定位精度不高。

发明内容

有鉴于此，本发明实施例提供一种基于多任务网络模型定位的方法，该方法能够基于不同任务准确确定机器人的位姿，提高机器人的重定位精度。

本发明实施例还提供一种基于多任务网络买模型定位的系统，该系统能够基于不同任务准确确定机器人的位姿，提高机器人的重定位精度。

本发明实施例是这样实现的：

一种基于多任务网络模型定位的方法，包括：

构建多任务网络模型，包括全局位姿回归子网络和相对位姿估计子网络；

全局位姿回归子网络中的卷积部分采用Resnet结构构建，全局位姿回归子网络的最后一层设置为全连接层，以机器人拍摄的单帧图像作为输入，以机器人的位姿信息作为输出；

相对位姿估计子网络中的卷积部分采用Resnet结构构建，包括两个线程网络及一个卷积子网络，相对位姿估计子网络的最后一层设置为全连接层，将机器人拍摄的相邻帧图像作为输入，输入到两个线程网络中，两个线程网络通过共享残差生成抽象特征，将生成的抽象特征在卷积子网络串联后，输出到全连接层处理，以机器人的相对位姿信息作为输出。

较佳地，所述全局位姿回归子网络采用50网络结构、34或101网络结构。