[发明专利]基于3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统

说明书

本发明公开了一种基于视觉Transformer的3D‑VnetCT图像肺结节检测方法。所述方法将视觉Transformer与3D‑Vnet结合起来，解决了3D‑Vnet网络无法建模远程上下文交互和空间依赖性的问题；使用遗传规划算法对基于Transformer的分割网络及分类网络进行超参数优化，包括如下步骤：构建基于视觉Transformer的3D‑Vnet分割网络和3D‑resNet分类网络；输入原始肺部CT图像；对获得的肺部CT影像进行预处理；利用基于视觉Transformer的3D‑Vnet分割网络对候选结节进行分割；利用3D‑resNet分类网络对中分割出的候选结节进行结节精检测；确定最终的肺结节区域，对结节区域进行可视化，获得最终的肺部CT影像。本发明还公开了实现上述方法的系统。采用本发明技术方案可以提高结节的检出率，大幅降低假阳性病灶，获得疑似肺结节病灶区域的具体定位和定性结果。

技术领域

本发明属于医学影像计算机辅助诊断技术领域，涉及一种基于视觉Transformer的3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统。

背景技术

多项研究表明，计算机断层扫描(CT)筛查是尽早找出无症状肺癌的有效方法，能够显著降低了重度吸烟者的肺癌死亡率。并有研究表明，计算机辅助检测有助于放射科医生在CT筛查中通过辅助图像解读来发现遗漏的肺癌。大多数肺癌的CT主要表现为肺结节，这些肺结节通常体积小、对比度低，因此利用CT图像进行对肺结节检测算法的研究对于计算机辅助检测在肺癌方面的应用至关重要。研究计算机辅助检测以辅助医生进行诊断，以此提高诊断效率，具有十分重大的应用价值。目前的CT图像肺结节检测方法可分为传统机器学习方法、深度学习方法、传统机器学习与深度学习相结合的方法。传统机器学习方法主要采用经典的数字图像处理方法提取出CT图像的候选区域，如([1]Jacobs C,vanRikxoort E,Twellmann T,et al.Automatic detection of subsolid pulmonarynodules in thoracic computedtomography images[J].Medical Image Analysis,2014,18(2):374–384.[2]Van G B,De H B,Van A d V S,et al.Comparing and combiningalgorithms for computer-aided detection of pulmonarynodules in computedtomography scans:The ANODE09 study[J].Medical ImageAnalysis,2010,14(6):707-722.)之后一般采用手工提取特征，如HOG(Navneet Dalal,Bill Triggs.Histogramsoforiented gradients for human detection.[C]//IEEE Computer SocietyConference onComputer VisionPattern Recognition,2005:886–893.)。再利用支持向量机(support vector machines,SVM)、KNN分类器和随机森林等机器学习算法对候选区域进行分类。上述传统方法速度较慢且精度不高。但近些年来随着深度学习方法在自然图像中的成功应用，越来越多的研究人员开始将深度学习应用于医疗图像方面的辅助诊断，包括肺结节的检测、分割和分类中。如(Qi D,Hao C,Yu L,et al.MultilevelContextual 3-DCNNs for False Positive Reduction in Pulmonary NoduleDetection[J].IEEEtransactions on bio-medical engineering,2016,64(7):1558-1567.)，该方法使用深度卷积网络代替了传统的特征提取和分类算法，提高了肺结节检测的精度。在他们的工作中，采用了三个多级上下文3D CNNs，目的是处理不同尺度特征的肺结节。这些网络每个都单独训练，然后通过将每个模型的概率进行输出进行加权和合并。但是该方法的三个网络每个都很浅，都只有三层卷积，并且该方法采用的是传统的方法来得到候选结节，两阶段都没能充分利用深度学习的优势。北京大学的JiaDing等人(JiaDing,Aoxue Li,Zhiqiang Hu,Liwei Wang.Accurate Pulmonary Nodule Detection in Computed Tomography ImagesUsing DeepConvolutional Neural Networks[C]//Medical Image Computing andComputer-AssistedIntervention,2017:559-567.)依据深度卷积神经网络在自然图像识别中的显著结果，构建了一种基于DCNNs的新型肺结节检测方案。该研究将反卷积结构引入基于更快区域的卷积神经网络(Faster R-CNN)，以进行轴向切片的候选检测，为后续的误报减少提供了三维DCNN。但在进行候选结节检测时，网络的输入是连续3张图像，并没有很好地利用了3D CT扫描的空间上下文信息。OlafRonneberger等人受到FCN启发，针对医学图像做语义分割提出了Unet(Ronneberger O,Fischer P,Brox T.U-Net:ConvolutionalNetworks for Biomedical ImageSegmentation[J].Springer,Cham,2015.)，且可以利用少量的数据学习到一个对边缘提取十分鲁棒的模型，在生物医学图像分割领域有很大作用。UNet由收缩和扩张路径两部分组成，因为形似一个字母U，得名UNet。在医学影像领域，由于数据量本身就很少，这篇论文有效的提升了使用少量数据集进行训练检测的效果，还提出了处理大尺寸图像的有效方法。Transformer结构由Google在2017年的Attention IsAll YouNeed(VaswaniA,Shazeer N,Parmar N,et al.Attention is all you need[J].arXiv preprint arXiv:1706.03762,2017.)论文中首次提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开Transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成，是第一个完全依靠自我注意来计算其输入和输出表示的转导模型，主要解决了CNN和RNN在长距离交互时的信息丢失问题。由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将Transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的DETR和可变形DETR，分类领域的Vision Transformer等等。