[发明专利]基于多任务神经网络的消化道内镜图像分类及早癌检测系统

摘要

本发明属于医学图像智能处理技术领域，具体为一种基于多任务神经网络的消化道内镜图像分类及早癌检测系统。本发明系统包括：（1）特征提取主干网络；（2）消化道内镜图像分类分支；（3）消化道早癌病变区域检测分支；本发明采用多任务的深度神经网络结构，分类和检测两个任务共享多个卷积层。内镜图像输入到神经网络模型中，经过一次前向传播，即可同时获得检测及分类结果，有效降低计算量，提升分类和检测精确度。实验结果表明，本发明可以精确地将内镜图像分成正常和早癌两类并检测出早癌图像中不规则的病变区域，减少人为因素影响，提高临床诊断的效率。

主权项

1.一种基于多任务神经网络的消化道内镜图像分类及早癌检测系统，其特征在于，包括：(1)特征提取主干网络；(2)消化道内镜图像分类分支；(3)消化道早癌病变区域检测分支；所述特征提取主干网络，在VGG‑16的基础上构建得到，去除VGG‑16的最后三个全连接层后，主干网络包括13个卷积层，卷积层的特征图在池化层的作用下分辨率逐渐减小，根据池化层所在的位置将卷积层分成5组，分别为conv1_2,conv2_2,conv3_3,conv4_3,conv5_3；所述消化道内镜图像分类分支，用于将输入图像分成异常和正常两类；包括全局平均池化层和3个全连接层；全局平均池化层将conv5_3最后一个卷积层的二维特征图映射为向量，输入到全连接层，第一个全连接层包含4096个神经元，第二个全连接层包含1024个神经元，第三个全连接层包含1个神经元，经sigmoid激活函数后，获得输入图像被分类为异常图像的概率；所述消化道早癌病变区域检测分支，为Hou等人提出的显著物体检测网络，将病变区域作为显著的区域，用于图像中的每个像素分为显著像素或不显著像素，即异常像素或正常像素，具体结构为：主干网络中有4个池化层，在主干网络的conv5_3后再添加1个池化层，共5个池化层，可以产生6个不同尺度的特征图，每个尺度的特征图对应一个旁侧输出，不同尺度的旁侧输出首先经过反卷积层得到和输入图像分辨率相同的特征图，再通过短连接将较高层次的特征图连接到较低层次的特征图，让较低层次的特征图优化较高层次粗糙的特征图，经sigmoid函数激活后，共产生6个旁侧的病变区域检测图；为了进一步获得更准确的检测结果，将6个旁侧的病变区域检测图连接起来输入到一个卷积层，经sigmoid函数激活后，获得融合后的病变区域检测图。