[发明专利]基于弱监督学习的痰涂片结核杆菌语义分割方法及系统

权利要求书

1.一种基于弱监督学习的痰涂片结核杆菌语义分割方法，其特征在于，包括以下步骤：

步骤1，对痰涂片图像进行标准化，利用边界框标注的先验坐标信息和GrabCut算法对原图进行结核杆菌区域抠取，并对抠取的结核杆菌区域设置标签，以此构造图像掩码作为训练语义分割模型的标签；

步骤2，构建通道域注意力模块和特征融合增强模块，据此建立基于卷积神经网络的语义分割模型，其中通道域注意力模块用于对下采样阶段的各尺寸的特征图进行权重校准和重分配，特征融合增强模块用于对权重校准和重分配后的特征图进行融合；

步骤3，构建Focal Loss损失函数，将模型训练到误差小于设定的阈值，使用此状态下的模型对训练数据进行预测更新区域标签，并利用更新后的标签重新训练当前的模型，得到最后训练完全的语义分割模型；

步骤4，利用训练完全的语义分割模型对痰涂片测试图像进行结核杆菌语义分割，利用DenseCRF算法对此预测结果进行再优化，得出的最终语义分割结果；

步骤2中，构建通道域注意力模块和特征融合增强模块，据此建立基于卷积神经网络的语义分割模型，模型的语义分割过程为：

首先利用卷积神经网络提取输入图像的特征，并下采样四次，依次得到四个尺寸特征图{M₁,M₂,M₃,M₄}，然后将{M₁,M₂,M₃,M₄}分别输入进通道域注意力模块中，进行特征通道的权重校准和分配，输出特征图以特征图M₁为例，设M₁通道数为C，通道域注意力模块具体操作是：

先对M₁的各个通道进行全局平均池化输出1×1×C的张量F₁，再将F₁接到神经元个数为的全连接层上，并利用ReLU激活函数进行非线性化处理得到F₂，接着将F₂连接到神经元为C的全连接层，并利用Sigmoid激活函数得到C个0-1之间的权重值W₁，最后将W₁分别与M₁的对应通道相乘，得到经过注意力分配的特征图同理，得到其他尺寸的特征图，即得到与{M₁,M₂,M₃,M₄}对应的

下一步将特征图分别输入进特征融合增强模块，该模块的具体做法是：

先对特征图不断地进行迭代转置卷积直至放大到原始数据输入尺寸，按照顺序特征图分别要进行1，2，3，4次转置卷积，接着将转置卷积结果与下采样阶段的同尺寸特征图进行互补，即：转置卷积一次得到M₁₁；转置卷积一次得到与相加得到M₂₁，M₂₁转置卷积一次得到M₂₂；转置卷积一次得到与相加得到M₃₁，M₃₁转置卷积一次得到M′₃₂，M′₃₂与相加形成M₃₂，M₃₂转置卷积一次得到M₃₃；转置卷积一次得到与形成M₄₁，M₄₁转置卷积一次得到M′₄₂，M′₄₂与相加形成M₄₂，M₄₂转置卷积一次得到M′₄₃，M′₄₃与相加形成M₄₃，M₄₃转置卷积一次得到M₄₄，最终输出特征图{M₁₁,M₂₂,M₃₃,M₄₄}；

然后将{M₁₁,M₂₂,M₃₃,M₄₄}按照从左至右的顺序，依次加在其后面的每个特征图上，即：M₂₂与M₁₁相加形成P₂，M₃₃与M₁₁，P₂相加形成P₃，M₄₄与M₁₁，P₂，P₃相加形成P₄，以P₄为最后的预测特征图，对其使用Sigmoid激活函数最终得到预测的像素类别概率值。