[发明专利]一种基于多任务共享网络的机器人弱光环境抓取检测方法

权利要求书

1.一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：包括以下步骤：

步骤1，采集并构建相应的数据集d，i＝1,2,…,n，j＝1,2,3,4，数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中表示场景i下的第j幅弱光环境图像，表示场景i下的正常光照图像，bⁱ表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；

步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；

步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；

对于在弱光环境下拍摄的图像I_low，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：

G(I_low)→{I_normal,x_i,y_i,θ_i,w_i,h_i},i＝1,2,…,m

其中，I_normal表示模型增强后的图像，x_i,y_i表示预测的第i个抓取框中心像素点的横、纵坐标，θ_i为预测的第i个抓取框相对于水平方向的旋转角度，w_i,h_i表示预测的第i个抓取框的宽度和高度，m表示预测的抓取框总数；

所述步骤2中图像增强模块包括以下步骤：

步骤S2.1，针对Yolo v3框架的大尺度预测层，提取由中尺度特征图与Darknet-53网络第36层特征图fmap₃₆拼接、应用3×3卷积和1×1卷积得到特征图再对特征图进行反卷积操作，增大特征图尺寸，并与Darknet-53网络第11层特征图fmap₁₁沿通道维度进行拼接，经2个3×3卷积得到尺寸为128×104×104的特征图map_104*104，即：

其中，deconv( )表示反卷积操作，表示沿通道维度的拼接操作，κ_3×3代表尺寸为3×3的卷积核；

步骤S2.2，对map_104*104进行反卷积操作，并与Darknet-53网络第4层特征图fmap₄沿通道维度进行拼接，经2个3×3卷积得到尺寸为64×208×208的特征图map_208*208，即：

步骤S2.3，针对Darknet-53网络第1层特征图fmap₁，重复步骤S2.1和步骤S2.2，得到尺寸为32×416×416的特征图map_416*416，经2个3×3卷积和1个1×1卷积得到尺寸为3×416×416最终的增强图像map_output，即：

map_output＝map_416*416*κ_3×3*κ_3×3*κ_1×1

其中，κ_1×1代表尺寸为1×1的卷积核。