[发明专利]一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法

说明书

本发明涉及一种基于Mask‑RCNN深度学习的虚拟医疗中肺结节检测与分割方法，属于图像处理领域。该方法具体包括：S1建立训练样本：首先对三维肺部CT图像样本进行预处理，然后将肺结节的横截面、矢状面和冠状面合成一张三通道图片，获得训练样本集，最后采用数据增强的方法扩展样本集；S2建立肺结节分割网络；包括建立骨干网络、特征金字塔网络、区域生成网络、ROI生成与对齐网络，以及三个功能分支；S3训练肺结节分割网络：利用训练样本对肺结节分割网络进行训练，获得肺结节分割装置；S4虚拟医疗环境中重建肺结节和肺部三维图，实现肺结节的检测。本发明能够在不花费更多资源的情况下提高模型的准确率，实现实时交互。

技术领域

本发明属于图像处理领域，涉及医学图像分析、计算机视觉领域，具体涉及一种基于Mask-RCNN深度学习虚拟医疗中的肺结节检测与分割方法。

背景技术

肺癌是各种癌症中死亡率最高的癌症，其中男性患肺癌的死亡率是13％、女性是19.5％。大约70％的病人都是在肺癌晚期才诊断出来，而这种情况下的5年存活率仅仅在大约16％左右。然而，如果能诊断出早期肺癌，那么五年的存活率能够达到70％。有研究表明，75％的肺癌在早期影像中已经表现出来，肺结节便是肺癌的早期形式，这也使得肺结节的检测非常重要。同时，CT图像具有高分辨率和高解剖结构对比度的特点，适用于肺部疾病的分析和诊断。

传统的医学图像肺结节检测算法包括以下流程：医学图像数据预处理、肺实质区域分割、提取候选区域、特征提取和肺结节目标的分类识别等。在传统的医学图像肺结节检测方法中，特征提取是对肺结节的形态学特征、纹理特征、局部特征等方面的病理特征和图像信息进行人工提取特征，但这些特定的特征存在着局限性，采用人工提取特征的方法流程繁琐，效率低。

深度学习具有多层深度结构，能自动学习样本的特征，建立端到端的模型，使用深度学习方法检测肺结节可以减少人工设计特征以及降低检测流程的复杂度，现有采用深度学习算法检测肺部图中肺结节的方法很多，主要受到下面原因的限制：

(1)总体来说肺结节尺寸小，在整张图占比也小，对模型的小物体检测能力要求高。

(2)深度学习需要大量样本的支持，而优质的肺结节图像标注数据较为缺乏。

(3)样本的识别难易程度不一样，为了使模型聚焦在难识别样本的学习，模型里应该做出处理。

计算机断层扫描(CT)、超声(US)、核磁共振(MRI)等医学影像技术是医学诊疗的主要辅助手段。然而它们只能得到二维断层图像，其所展示的仅为单个层面的病理信息，医务人员只能根据以往的经验来估计感兴趣区域的大小、形状，很难有直观的认识，三维可视化技术的使用，能够使CT、MRI等设备产生的二维序列，经一系列重构运算被绘制成为三维医学模型并表达于视窗之中，可以更加清晰直观地了解人体器官或组织的复杂空间特征和相互定位关系。此外，医学图像三维重建在医学三维放射治疗、人体仿真、虚拟手术、虚拟内窥镜、机器人手术、实时手术导航等方面都有重要应用。根据绘制原理的不同，可以将三维重建的方法分为两类，即面绘制和体绘制，两者在绘制效果、时间开销和交互性能等方面存在较大的差异。面绘制能够快速绘制三维实体的表面，但是缺乏内部信息，而这些缺失的内部信息可能是病情诊断需要的关键信息；体绘制直接对体数据中的体素进行处理，可以绘制出包含丰富信息的三维实体，既有三维表面又有内部结构，因而具有更高的临床应用价值。

因此，亟需一种能够清楚检测与分割肺结节的三维医学图像重建的方法来提高检测准确率。

发明内容

有鉴于此，本发明的目的在于提供一种深度学习检测与分割方法，基于Mask-RCNN利用特征金字塔网络融合大小尺度的特征图，保证了对不同大小肺结节的检测，采用修改的Focal Loss进行难例挖掘，同时使用横截面图、矢状面图和冠状面图三个维度的信息，在不花费更多资源的情况下提高了模型的准确率。

为达到上述目的，本发明提供如下技术方案：