[发明专利]一种基于多任务共享网络的机器人弱光环境抓取检测方法

说明书

本发明公开了一种基于多任务共享网络的机器人弱光环境抓取检测方法，属于计算机视觉与智能机器人技术领域。本发明通过图像采集保证弱光环境与正常光照环境下拍摄图像的严格匹配，构建相应的数据集d，再采用Darknet‑53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，当损失值在迭代次数iter内的变化小于阈值t时，抓取检测模型G已收敛，即模型G训练完成；对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务。

技术领域

本发明属于计算机视觉与智能机器人技术领域，具体涉及一种基于多任务共享网络的机器人弱光环境抓取检测方法。

背景技术

随着人工智能、机器人控制和感知技术的不断发展，配备有多自由度机械臂的机器人能够自主实现对不同目标物体的抓取操作，并开展高级别人机交互，在家庭服务、自动化装配等诸多领域正扮演着越来越重要的角色。典型的机器人抓取流程一般包括四个步骤：目标定位、姿态估计、抓取检测和运动规划，其中抓取检测能够确定物体上的可抓取部位，直接决定了机器人抓取操作的稳定性和精度，具有重要作用。目前，机器人抓取检测算法通常利用深度学习模型以端到端的方式建立输入信息(包括：图像、深度信息、触觉信息等)与预测抓取框的映射关系，通过模型的反复训练迭代，不断提升抓取检测精度和鲁棒性。

然而，现有抓取检测方法的输入图像往往在光照充足条件下采集和获取，此时目标细节纹理清晰、与背景的特征差异明显。在低对比度的弱光环境下，现有方法的检测精度急剧降低，因此，通常采用外置光源补光和红外传感器融合等手段提高待抓取目标的可见性，但前者会带来严重的光污染和能量消耗，而后者无法提供色彩信息，且对物体细节的分辨率较低。因此，采用一种适用于低对比度弱光环境，且无需引入额外传感器的抓取检测算法，具有十分重要的意义。

发明内容

针对低对比度弱光环境下检测精度低的问题，本发明提供了一种基于多任务共享网络的机器人弱光环境抓取检测方法。

为了达到上述目的，本发明采用了下列技术方案：

一种基于多任务共享网络的机器人弱光环境抓取检测方法，包括以下步骤：

步骤1，采集并构建相应的数据集d，数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中表示场景i下的第j幅弱光环境图像，表示场景i下的正常光照图像，bⁱ表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；

步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；

步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；

对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：

G(I_low)→{I_normal,x_i,y_i,θ_i,w_i,h_i},i＝1,2,…,m