[发明专利]基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统

摘要

基于MaskScoring R‑CNN网络的迁移学习肺部病变组织检测系统，包括存储肺癌、肺炎、肺结核、肺气肿4种肺部疾病的存储模块，还包括一个诊断模块，诊断模块与存储模块通信连接，诊断模块包括：步骤1)医学图像预处理；步骤2)构建MaskScoring R‑CNN网络模型：1.构建共享卷积神经网络骨干(作特征提取)，2.对共享卷积神经网络做迁移学习，3.构建FPN网络，4.构建RPN网络5.构建ROIAlign层，6.添加MaskIoU head；步骤3)肺部医学图像病变组织识别：向构建好的MaskScoring R‑CNN网络，输入待检测的肺部CT影像，网络输出得到识别之后的图像，框出并掩膜mask识别到的病变组织，并标注出病变的类别。本发明满足医学图像分割高精度的要求，也能让网络拥有良好的泛化性。

主权项

1.基于MaskScoring-RCN网络和迁移学习的肺部病变检测系统，包括存储肺癌、肺炎、肺结核、肺气肿4种肺部疾病的存储模块，其特征在于：还包括一个诊断模块，诊断模块与存储模块通信连接，诊断模块具体包括：/n步骤1)医学图像预处理；/n选取4种不同的肺部疾病，肺癌，肺炎，肺结核，肺气肿，的CT图像，对数据采用NLP的方法进行标注，并以此类数据作为正样本；选取正常的正常的肺部CT图像作为负样本；/n对采集到的肺部医学图像做数据增强处理；将处理后的数据80％用作网络的训练集，10％作为验证集，最后10％作为测试集，并将图像像素的大小设置为224*224；/n步骤2)构建MaskScoring R-CNN网络模型；/n2.1构建共享卷积神经网络骨干，作特征提取；/n使用已经用ImageNet数据集预训练好的卷积网络模型VGG-16网络，每一层卷积网络都在前一层的信息基础上提取更加抽象的特征；第一层通常学习到简单的边缘，第二层寻找目标边缘的模式，以激活后续卷积网络中更加复杂的形状；最终，得到一个在空间维度上比原始图片小，但表征更深的卷积特征图；特征图的长和宽会随着卷积层间的池化而缩小，深度会随着卷积层滤波器的数量而增加；/n采用VGG-16所有卷积层的卷积核大小均为3*3*3，步长stride＝1，填充padding＝1，池化pooling均采用2*2的最大池化方式；输入224*224*1的图片；经过64个卷积核的两次卷积后，采用一次pooling操作；之后又经过两次128的卷积核卷积之后，采用一次pooling操作；再经过三次256的卷积核的卷积之后，采用pooling，重复两次三个512的卷积核卷积之后再pooling，最后经过三次全连接层后，得到特征图谱feature map输出；加载用ImageNet数据集预训练好的权重，为下一步迁移学习做准备；/n2.2对共享卷积神经网络做迁移学习；/n将靠近网络开头的第三层卷积层预先训练过的层级删掉，向第一二层后添加新的全连接层，随机化设置新的完全连接层的权重，冻结预先训练过的网络中的所有权重，最后训练改网络以更新新连接层的权重；/n2.3构建特征金字塔网络，即FPN网络；/n在共享卷积网络后构建1*1卷积层自上而下的路径都经过2层的上采样过程，融合底层到高层的feature maps，从而充分的利用了提取到的各个阶段的特征；/n2.4构建区域建议网络，即RPN网络；/n在FPN网络后接一个3*3的卷积层，再接两个1*1的卷积层，其中一个是用来进行分类，另一个用于给候选区域精确定位；/n使用卷积神经网络CNN产生的区域建议Region Proposal分割出一张肺部CT图像中病变组织所在的位置，利用滑动窗口在生成的共享特征图谱feature maps上滑动；/n滑动过程中为每个位置生成9种预先设置好长宽比与面积的目标框，即锚anchor；这9种初始anchor包含三种面积(128×128，256×256，512×512)，每种面积又包含三种长宽比(1:1，1:2，2:1)；对于RPN输出的特征图中的每一个点，一个1×1的卷积层输出了18个值，每一个点对应9个anchor，每个anchor有一个前景分数和一个背景分数；另一个1×1的卷积层输出了36个值，每一个点对应9个anchor，每个anchor对应了4个修正坐标的值；那么，要得到这些值，RPN网络需要训练；在训练的时候，就需要对应的标签；判定一个anchor是前景还是背景的定义如下：如果一个anchor与正确的标记数据ground truth的重叠度IoU在0.7以上，那这个anchor就算positive前景；类似地，如果这个anchor与ground truth的IoU在0.3以下，那么这个anchor就算negative背景；在进行RPN网络训练的时候，只使用了上述两类anchor，与ground truth的IoU介于0.3和0.7的anchor没有使用；在训练anchor属于前景与背景的时候，是在一张图中，随机抽取了128个前景anchor与128个背景anchor；/nanchor边框修正的训练方法如下；边框修正由4个值完成，t