[发明专利]基于多任务神经网络的视觉定位导航方法、系统及介质

权利要求书

1.一种基于多任务神经网络的视觉定位导航方法，其特征在于，包括以下步骤：

设计多任务神经网络模型，所述多任务神经网络模型能同时完成目标检测与可通达语义地图构建两个任务；

采用开源数据集和自建数据集对所述多任务神经网络模型进行训练及调优，获得最终的多任务神经网络模型；

采用所述最终的多任务神经网络模型来实现视觉定位导航；

所述多任务神经网络模型包括全局特征提取基础网络、目标检测任务分支网络和可通达语义地图构建任务分支网络；

所述全局特征提取基础网络的中间卷积输出作为所述可通达语义地图构建任务分支网络的输入，所述全局特征提取基础网络的末端卷积输出作为所述目标检测任务分支网络的输入；

所述全局特征提取基础网络用于提取全局特征，提取到的所述全局特征与所述目标检测任务分支网络和所述可通达语义地图构建任务分支网络共享；

所述采用开源数据集和自建数据集对所述多任务神经网络模型进行训练及调优，包括：

在预训练阶段，采用网络开源的训练权重作为所述全局特征提取基础网络和所述目标检测任务分支网络的预权重，并将全局特征提取基础网络和目标检测任务分支网络冷却不进行训练；

采用Cityscapes开源数据集对所述可通达语义地图构建任务分支网络进行预训练，其中，

初始迭代优化方法为Adam；

在模型调优阶段，采用自建数据集对所述多任务神经网络模型进行调优训练，采用多任务融合损失函数对所有的网络权重进行联合训练，直至模型收敛；

所述目标检测任务分支网络借助SSD目标检测设计思想，并引入金字塔结构模型，实现细节特征与抽象特征的融合，所述目标检测任务分支网络用于完成目标分类和检测边框回归。

2.根据权利要求1所述的一种基于多任务神经网络的视觉定位导航方法，其特征在于，所述自建数据集通过以下方式获得：

控制AGV小车在室外环境下运动，通过所述AGV小车自身搭建的摄像头获取视频数据，获取所述视频数据中的图像帧并进行保存；

采用标注工具对保存的所述图像帧进行可通达区域标注和检测目标标注，获得自建数据集。

3.根据权利要求1所述的一种基于多任务神经网络的视觉定位导航方法，其特征在于，在所述多任务神经网络模型引入超参数α和β调节模型精度和计算，其中，超参数α用于控制可通达语义地图构建任务分支网络中间特征的深度，超参数β用于控制目标检测任务分支网络中间特征的深度。

4.根据权利要求3所述的一种基于多任务神经网络的视觉定位导航方法，其特征在于，所述目标检测任务分支网络的损失函数为分类损失函数与边框回归损失函数的结合，且通过控制因子c调节比例；

所述目标检测任务分支网络的损失函数的表达式为：

其中，L_conf为分类损失函数，L_loc为边框回归损失函数。