[发明专利]煤与矸石的识别与分割方法、装置及电子设备

权利要求书

1.一种煤与矸石的识别与分割方法，其特征在于，所述方法包括：

获取待分割的X射线煤炭与矸石图像；

将待分割的所述X射线煤炭与矸石图像输入煤与矸石分割模型，得到所述煤与矸石分割模型输出的煤矸石分割图像，所述煤矸石分割图像中相同种类的煤炭或矸石分别采用不同颜色进行连通域区分；所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到煤矸石分割图像中检测塔子模型和图像注意力分析子模型的特征输入图像；所述检测塔子模型的检测塔层对输入的特征输入图像进行识别，得到对象目标框图像和矸石注意力图像；所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，将调整后的所述煤炭与矸石基图与调整后的矸石注意力图像进行融合，得到所述煤矸石分割图像，其中，所述通过所述对象目标框图像对所述煤炭与矸石基图进行预设目标尺寸调整，以及对所述矸石注意力图像进行所述预设目标尺寸调整，包括：将所述煤炭与矸石基图按照所述对象目标框图像中目标框的大小调整到固定大小，并将所述矸石注意力图像插值到与所述煤炭与矸石基图调整后相同的大小；

根据不同颜色的连通域，对所述煤矸石分割图像进行轮廓提取，得到以矩形的形式标注的矸石轮廓坐标，所述矸石轮廓坐标用于控制机械手对矸石进行抓取；

其中，所述煤与矸石分割模型中的特征融合子模型将所述煤与矸石分割模型中的残差计算子模型中依次线性连接的残差层输出的残差图像，分别作为依次线性连接的插值上采样层的残差输入图像以及依次线性连接的特征融合层的融合特征图像，得到检测塔子模型和图像注意力分析子模型的特征输入图像，包括：

对所述煤与矸石分割模型中的残差计算子模型中依次线性连接的除处于最底层的残差层输出的残差输入图像按照第一卷积参数进行深度可分离卷积，并在卷积后分别作为所述煤与矸石分割模型中的特征融合子模型对应插值上采样层的卷积残差图像；

对输入所述特征融合子模型中最上层的插值上采样层的卷积残差图像进行临近插值上采样，并在临近插值上采样后，与所述残差计算子模型中次上层对应的卷积残差图像进行特征逐点相加，得到所述最上层的插值上采样层上采样输出图像；

对输入所述特征融合子模型中每一所述插值上采样层的上采样输入图像进行临近插值上采样，并在所述临近插值上采样后，将特征融合子模型中上一层插值上采样层输出的上采样输出图像与对应的卷积残差图像进行特征逐点相加，得到所述特征融合子模型中下一层插值上采样层输出的上采样输出图像；

对所述特征融合子模型中每一所述插值上采样层输出的上采样输出图像按照第二卷积参数进行图像卷积，得到上采样卷积图像；

对所述特征融合子模型中最下层的上采样输出图像与次底层的残差层输出的残差图像进行特征逐点相加，得到所述特征融合子模型中最下层的特征融合层的融合特征输出图像；

将特征融合子模型中上一层特征融合层输出的融合特征输出图像与对应的残差图像以及对应的上采样卷积图像进行特征逐点相加，得到所述特征融合子模型中下一层特征融合层输出的融合特征输出图像；

将每一特征融合层输出的融合特征输出图像分别作为所述检测塔子模型中对应检测塔层的特征输入图像以及将多个处于底部的特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像；

其中，所述特征融合子模型包括5层特征融合层和3层所述插值上采样层，所述残差计算子模型包括4层所述残差层；

其中，处于底部的第一特征融合层、第二特征融合层、第三特征融合层输出的融合特征输出图像作为所述图像注意力分析子模型的特征输入图像；

其中，所述图像注意力分析子模型对所述特征输入图像进行识别，得到煤炭与矸石基图，包括：

所述图像注意力分析子模型对输入的所述第一特征融合层、所述第二特征融合层、所述第三特征融合层输出的融合特征输出图像分别按照第六卷积参数进行图像卷积，得到第六目标图像；

对所述第二特征融合层和所述第三特征融合层对应的第六目标图像进行双线性插值运算，得到第七目标图像；

将所述第一特征融合层对应的第六目标图像、所述第二特征融合层对应的第七目标图像以及所述第三特征融合层对应的第七目标图像进行特征逐点相加，得到第八目标图像；

对所述第八目标图像进行双线性插值上采样后，按照所述第六卷积参数进行图像卷积，得到第九目标图像；

对所述第九目标图像中所有通道的不同位置赋予不同的注意力权重，并按照第七卷积参数对添加注意力权重后的第九目标图像进行图像卷积，生成所述煤炭与矸石基图。