[发明专利]基于多任务神经网络的视觉定位导航方法、系统及介质

说明书

本发明公开了一种基于多任务神经网络的视觉定位导航方法、系统及介质，其中方法包括：设计多任务神经网络模型，所述多任务神经网络模型能同时完成目标检测与可通达语义地图构建两个任务；采用开源数据集和自建数据集对所述多任务神经网络模型进行训练及调优，获得最终的多任务神经网络模型；采用所述最终的多任务神经网络模型来实现视觉定位导航。本发明使用的多任务神经网络模型相较单任务网络可提高卷积神经网络的复用率，减小模型的体积并降低计算时延，能够更准确快速地完成AGV视觉定位导航中的目标检测与可通达地图构建分割任务，可广泛应用于计算机视觉技术领域。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于多任务神经网络的视觉定位导航方法、系统及介质。

背景技术

最早应用于仓储物流业的AGV智能车(Automated Guided Vehicle，简称AGV，通常也称为AGV小车)，随着人工智能，深度学习技术的不断发展，借助深度学习的优势，逐渐实现高度智能化，并走进了寻常百姓家。

AGV视觉定位导航借助视觉传感器模仿人的眼睛感知周围环境，可将其分为目标检测定位与可通达地图构建两个任务，传统视觉定位算法使用人工特征或模型识别算法将图像空间的高维状态转化为机器人能理解的低维状态，再利用机器人运动学或动力学求解。传统的视觉定位导航方法存在两个关键问题：1)对图像理解能力差且理解层次较低，对于关键信息提取的过程易受室外环境中的非结构化因素影响；2)从高维空间到低维空间的映射造成大量特征信息丢失。由此造成在室外非结构化环境中，机器人无法实现所处环境的真实表达，使得鲁棒性变差，精度降低。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于多任务神经网络的视觉定位导航方法、系统及介质。

本发明所采用的技术方案是：

一种基于多任务神经网络的视觉定位导航方法，包括以下步骤：

设计多任务神经网络模型，所述多任务神经网络模型能同时完成目标检测与可通达语义地图构建两个任务；

采用开源数据集和自建数据集对所述多任务神经网络模型进行训练及调优，获得最终的多任务神经网络模型；

采用所述最终的多任务神经网络模型来实现视觉定位导航。

进一步，所述自建数据集通过以下方式获得：

控制AGV小车在室外环境下运动，通过所述AGV小车自身搭建的摄像头获取视频数据，获取所述视频数据中的图像帧并进行保存；

采用标注工具对保存的所述图像帧进行可通达区域标注和检测目标标注，获得自建数据集。

进一步，所述多任务神经网络模型包括全局特征提取基础网络、目标检测任务分支网络和可通达语义地图构建任务分支网络；

所述全局特征提取基础网络的中间卷积输出作为所述可通达语义地图构建任务分支网络的输入，所述全局特征提取基础网络的末端卷积输出作为所述目标检测任务分支网络的输入；

所述全局特征提取基础网络用于提取全局特征，提取到的所述全局特征与所述目标检测任务分支网络和所述可通达语义地图构建任务分支网络共享。

进一步，在所述多任务神经网络模型引入超参数α和β调节模型精度和计算，其中，超参数α用于控制可通达语义地图构建任务分支网络中间特征的深度，超参数β用于控制目标检测任务分支网络中间特征的深度。

进一步，所述目标检测任务分支网络的损失函数为分类损失函数与边框回归损失函数的结合，且通过控制因子c调节比例；

所述目标检测任务分支网络的损失函数的表达式为：