[发明专利]基于弱监督学习的痰涂片结核杆菌语义分割方法及系统

说明书

本发明公开了一种基于弱监督学习的痰涂片结核杆菌语义分割方法，进行标准化、结核杆菌区域抠取和标签分配，构造图像掩码作为训练语义分割模型的标签；构建通道域注意力模块和特征融合增强模块，建立基于卷积神经网络的语义分割模型；构建Focal Loss损失函数，将模型训练到误差小于设定的阈值，使用此状态下的模型对训练数据进行预测更新区域标签，利用更新后的标签重新训练当前的模型，得到最后训练完全的语义分割模型；利用训练完全的语义分割模型对痰涂片测试图像进行结核杆菌语义分割，利用DenseCRF算法对此预测结果进行再优化，得出的最终语义分割结果。本发明还提出对应的痰涂片结核杆菌语义分割系统。本发明提高了分割精度，降低了标注人力和时间成本。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于弱监督学习的痰涂片结核杆菌语义分割方法及系统。

背景技术

当前关于结核杆菌的语义分割方法主要有两种，一种属于无监督学习分割方法，不需要人工预先对图像进行任何标注处理，直接根据图像之间的对比特征进行区域分割，但是由于痰涂片图像颜色单一，染色剂和结核杆菌有时难以区分，因此结果较差。另一种方法是全监督学习分割方法，由于过去几年，深度学习的良好预测性能和迁移能力，基于卷积神经网络的痰涂片图像的结核杆菌语义分割获得了较为准确的结果，但是全监督需要提前收集大量的数据，并且需要在图像上进行像素级别的杆菌标注，费时费力，且成本高昂。

发明内容

本发明的目的在于提供一种基于弱监督学习的痰涂片结核杆菌语义分割方法及系统。

实现本发明目的的技术解决方案为：一种基于弱监督学习的痰涂片结核杆菌语义分割方法，包括以下步骤：

步骤1，对痰涂片图像进行标准化，利用边界框标注的先验坐标信息和 GrabCut算法对原图进行结核杆菌区域抠取，并对抠取的结核杆菌区域设置标签，以此构造图像掩码作为训练语义分割模型的标签；

步骤2，构建通道域注意力模块和特征融合增强模块，据此建立基于卷积神经网络的语义分割模型，其中通道域注意力模块用于对下采样阶段的各尺寸的特征图进行权重校准和重分配，特征融合增强模块用于对权重校准和重分配后的特征图进行融合；

步骤3，构建Focal Loss损失函数，将模型训练到误差小于设定的阈值，使用此状态下的模型对训练数据进行预测更新区域标签，并利用更新后的标签重新训练当前的模型，得到最后训练完全的语义分割模型；

步骤4，利用训练完全的语义分割模型对痰涂片测试图像进行结核杆菌语义分割，利用DenseCRF算法对此预测结果进行再优化，得出的最终语义分割结果。

步骤1中，对痰涂片图像进行标准化，利用边界框标注的先验坐标信息和 GrabCut算法对原图进行结核杆菌区域抠取，并对抠取的结核杆菌区域设置标签，具体方法为：

步骤11：对原始痰涂片图像的R,G,B三个通道分别求均值，将R,G,B三个通道与对应通道的均值相减完成标准化操作，然后将标准化后的图像结果缩放到固定的尺寸，存储在计算机内存中，作为输入到模型的数据；

步骤12：利用OpenCV库中基于高斯混合模型的GrabCut算法，以原始痰涂片图像和给定的边界框标注信息为输入，抠取 结核杆菌区域，如果输出的像素区域与标注的边界框区域的交并比大于等于0.15，则直接对该区域赋予标签“1”，对其他区域赋予标签“0”，如果GrabCut算法未输出结核杆菌区域或者输出的像素区域与标注的边界框区域的交并比小于0.15的情形，则直接设置边界框内部正中央80％的矩形区域为结核杆菌的像素区域，对此区域赋予标签“1”，对其他区域赋予标签“0”，据此构建图像掩码。

步骤2中，构建通道域注意力模块和特征融合增强模块，据此建立基于卷积神经网络的语义分割模型，模型的语义分割过程为：