[发明专利]面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统

权利要求书

1.一种面向窄带内镜图像的早期食管鳞癌的癌灶检测系统，其特征在于，是基于目标检测神经网络的，包括：特征提取骨干网络和特征金字塔、区域候选网络、兴趣区域池化与癌灶分类网络，以及在窄带成像内镜图像上进行可视化的辅助诊断系统；其中：

（1）所述特征提取骨干网络，在ResNet-50模型基础上构建，包括50个卷积层，用于提取输入图像的特征图，即作为特征金字塔的特征提取器；具体地，分别在ResNet-50模型的layer1,2,3,4层的末尾抽取特征图，抽取出的特征图分别拥有256、512、1024、2048通道，特征图的大小分别为1/4、1/8、1/16、1/32的原图大小；特征图被送入特征金字塔网络；特征金字塔中，使用1×1的卷积将特征图全部统一到256通道，随后自顶向下逐层将上层的特征上采样至两倍大小，并与下层的特征相加进行3×3的卷积，得到多尺度的特征图：其大小分别为1/4、1/8、1/16、1/32的原图大小，通道数均为256通道；

（2）所述区域候选网络，用于提取可能的病灶区域；其中，使用锚生成器生成密集的矩形候选框；矩形的候选框共有5×3种不同的尺寸，即由五种不同的大小与三种不同的形状组合；特征金字塔中各层的特征经过一个3×3的卷积和一个1×1卷积，通过Softmax来判断上述候选框属于正样本或负样本；最后通过12通道1×1的卷积，进行三种形状的边界框回归，修正不精确的候选框；

（3）所述兴趣区域池化与癌灶分类网络，其中，兴趣区域池化是通过对兴趣区域池化将特征池化到可疑病灶区域；癌灶分类网络用于对癌灶进行分类；具体地，将感兴趣区域用与坐标轴平行的矩形边界框框出，并给出该区域的癌灶分类结果，即正常区域或病变区域；该网络首先从特征金字塔不同层级的特征图中提取感兴趣区域，将其对齐并最大池化至7×7，随后通过全连接层产生两条输出支路：第一条支路输出每个特征区域的位置偏移量，用于进一步修正检测框的位置；第二条支路通过Softmax函数计算特征的分类概率，得出区域的癌灶类别；其中全连接层将展平256×7×7形状的特征图，形成12544×1×1的特征，而全连接层的输出为1024通道，第一条支路的输出为20通道，即每个类别对应边界框四个坐标5×4，第二条支路的输出为5通道，即包含负样本在内的5个类别；

（4）所述在窄带成像内镜图像上进行可视化的辅助诊断系统，即最后在窄带成像内镜图像上进行可视化显示，使用不同的颜色对癌灶进行框选标记；具体地，输入为窄带成像内镜图像；使用前述网络对癌灶进行检测和诊断，使用不同颜色的检测框代表不同的癌灶类型，即用绿色、红色、紫色、黑色分别代表A、B1、B2、B3四类，同时标记出检测框的分类置信度；对所有检测框的置信度进行筛选，剔除掉置信度小于阈值T₁的所有检测框，再运用非极大值抑制剔除掉交并比大于阈值T₂的多余重叠框。

2.根据权利要求1所述的面向窄带内镜图像的早期食管鳞癌的癌灶检测系统，其特征在于，网络模型的训练流程如下：

训练前，用预训练的ResNet-50模型初始化网络参数，并将训练集中的图像进行缩放，使得其分辨率不超过800×1333，其对应的边界框也同时进行同比例缩放；

训练时，首先将图像按照均值=[0.485,0.456,0.406]和标准差=[0.229,0.224,0.225]对图像的R、G、B三通道进行归一化处理；使用带动量的随机梯度下降算法，设初始学习率为0.005，动量为0.9，权重衰减为0.0005，并使用小批量随机梯度下降策略，批大小设置为2来最小化损失函数；训练共进行50轮，每10轮将学习率衰减至原先的0.3倍；由于训练集中各类型血管的分布不均衡，B2、B3类型的血管得不到充分的训练，因此使用Focal loss作为癌灶分类网络的损失函数，其中neg、A、B1、B2、B3的权重分别为0.25、1、0.2、5、10，这是根据训练集中各血管的分布比例经过多次实验后确定的。

3.根据权利要求1所述的面向窄带内镜图像的早期食管鳞癌的癌灶检测系统，其特征在于，输入窄带成像内镜的图像后，经过一次前向传播，即得到癌灶的检测与诊断结果。