[发明专利]一种基于深度学习的工程机械工作装置位姿估计方法

说明书

本发明涉及工程机械控制技术领域，特别涉及一种基于深度学习的工程机械工作装置位姿估计方法，旨在解决工程机械工作装置的智能化估计问题。包括以下步骤：训练语义分割子网络，得到语义分割模型，训练位姿估计子网络，得到位姿估计模型；获取工作装置彩色图；将所述工作装置彩色图输入到所述语义分割模型，得到语义分割结果；将所述语义分割结果与所述工作装置彩色图进行图像掩膜处理；将图像掩膜处理结果输入到所述位姿估计模型得到工作装置属具工作点的位置和姿态。本发明大幅度提高了工程机械工作装置位姿估计的准确性和鲁棒性。

技术领域

本发明涉及工程机械控制技术领域，尤其涉及一种基于深度学习的工程机械工作装置位姿估计方法。

背景技术

随着基础设施建设和矿山采掘行业的快速发展，挖掘机、装载机等工程机械在施工现场中担任的角色越来越重要，但是在复杂、恶劣的工作环境中的频繁使用带来了巨大的安全风险，由工程机械引发的安全事故不在少数。工程机械的自动化和智能化施工来代替作业人员操作施工是解决这一问题最理想的方案，实现工程机械的自动化和智能化，必须以工作装置的位姿估计技术为前提，因此，施工现场中工程机械的位姿估计方法极为重要。

传统的工程机械工作装置位姿估计方法大多采用接触式的位移传感器和电子罗盘等设备对挖掘机等工程机械的工作装置位姿进行估计，这些技术的优点是精度高，但成本相对较高，恶劣环境下测量不可靠，且在工作状态下会与施工目标存在不可避免的碰撞，最终导致传感器损坏，可靠性较差。

视觉估计作为一种非接触式的估计方法，具有设备价格低廉、操作简便和估计精度高的优点。近年来，随着计算机视觉技术的迅速发展，利用其对工程机械工作装置进行识别，逐渐走入人们视野。目前，国内外利用计算机视觉对工程机械工作装置的位姿估计的方法可概括为两种，一种方法是采用激光雷达或深度相机得到的点云信息来获取位姿，通过三维重建等技术来实现高精度的估计。但是此方法数据量大，处理过程冗杂，因此动态响应较慢。另一种方法是首先对工程机械工作装置关节点进行标志化处理，然后利用相机拍摄获取工程机械工作装置图像，经图像处理计算出关节点的像素坐标，最终经正运动学运算推断出工程机械工作装置的位姿。这种方法数据量小，但易受施工环境影响，导致可靠性较差。近年来，随着深度学习的不断发展，利用计算机视觉算法来实现工程机械工作装置的位姿估计成为可能。如何针对现有研究存在的问题提出一个工程机械工作装机位姿估计的方法，为工程机械工作装置的位姿估计提供一个自动化、智能化的解决方案，是一个亟待解决的问题。

发明内容

本发明针对现有工程机械工作装置位姿估计成本高、数据量大、动态响应差和易受施工环境影响等问题，提出了一种基于深度学习的工程机械工作装置位姿估计方法，实现了施工现场工程机械工作装置位姿的高效准确估计。

根据申请的第一方面，提供了一种基于深度学习的工程机械工作装置位姿估计方法，具体包括以下步骤：

步骤S101，训练语义分割子网络，得到语义分割模型，训练位姿估计子网络，得到位姿估计模型；

步骤S102，获取工作装置彩色图；

步骤S103、将所述工作装置彩色图输入到所述语义分割模型，得到语义分割结果；

步骤S104，将所述语义分割结果与所述工作装置彩色图进行图像掩膜处理；

步骤S105，将图像掩膜处理结果输入到所述位姿估计模型得到所述工作装置属具工作点的位置和姿态。

步骤S101中训练所述语义分割子网络所用到的语义分割数据集的样本数据包括在不同施工环境下不同位姿的同一型号的工程机械工作装置的彩色图片以及所对应的语义分割标注，所述语义分割标注具体为工程机械工作装置和背景两个类别的标注。