[发明专利]基于深度学习与注意力机制的多发性结节分类系统和方法

说明书

本发明涉及一种基于深度学习与注意力机制的多发性结节分类系统和方法，属于医学图像分类技术领域。本发明针对现有结节分类系统只考虑孤立结节，忽略结节上下文信息导致分类精度不够高的问题，以深度卷积神经网络为主干，提出结节集合注意力操作提取医学图像上同一患者多个结节的关系，对同一患者多个结节的相互关系进行建模，得到分类结果。本发明通过对同一患者多个结节的相互关系进行建模，加强结节的本质表征，使模型训练的分类结果具有更高的分类精度，相比传统的卷积神经网络，可获得更高的分类精度。

技术领域

本发明涉及病灶CT图像的分类技术，具体涉及基于深度学习与注意力机制的多发性结节分类系统和方法，属于医学图像分类技术领域。

背景技术

目前中国各类癌症的发病率和死亡率居各种疾病之首，其中又以肺癌的发病率和死亡率均居各种恶性肿瘤之首，对人们的健康构成了巨大的威胁。肺癌的早期诊断是减少肺癌相关死亡的有效方法之一。随着低剂量计算机断层扫描（low-dose computedtomography，LDCT）的普遍应用，越来越多的早期肺结节成为了临床实践中的一个重要挑战。除了某些“易于诊断”的疾病，例如明显的肺转移和肺结核外，在临床情况下偶发的多发性肺结节也被认为是一个难题，多发性肺结节的诊断比单发更复杂，除了多发性肺结节存在这样的问题外，甲状腺多发性结节也存在相同的问题。除了分析生物学行为（例如良性，惰性，侵入性），放射线医师还需要分析各种情况。

最近的基于数据驱动的方法，例如影像组学分析和深度学习，主导了计算机辅助诊断（CADx）这一领域的研究。其中，很少有关于结节检测和表征的研究可用于了解多个结节之间的相互作用。换句话说，先前的研究对多结节患者仍使用单结节的分析方法。在临床实践中，放射科医生使用结节级和患者级的信息来诊断同一受试者的结节。从算法的角度来看，孤立结节方法无需考虑关系/上下文信息即可对结节进行分类。然而，我们认为同一患者内多个结节间的关系是很重要的，但目前还未发现有针对多个肺结节之间相互作用的研究。如中国专利文献CN110175979A（一种基于协同注意力机制的肺结节分类方法）公开了一种基于协同注意力机制的肺结节分类方法，该方法使用了简单的注意力机制提取同一个肺结节里不同空间位置之间的关系，从而增强对单个肺结节的特征提取，然而该方法缺乏关注多个结节的相互关系，且其较原始的注意力机制导致了系统参数量与计算量繁重冗余。

发明内容

为了克服现有结节分类技术未考虑同一患者内多个结节间的关系的不足，本发明提出了一种基于深度学习与注意力机制的多发性结节分类系统和方法，以深度卷积神经网络为骨干框架，提出结节集合注意力模块（Multi-Nodule Attention Module，M-NAM）来提取同一患者内多个结节之间的关系，通过这种相互关系加强单个结节的本质表征，使系统可以充分提取医学图像中包含的信息，可获得更高的分类精度。

为了实现上述目的，本发明采用以下技术方案：

一种基于深度学习与注意力机制的多发性结节分类系统，包括以下模块：

数据搜集模块：搜集多个包含若干结节的CT图像上所有结节的分类结果；同一CT图像内可存在任意数目的结节，不同CT图像之间结节的数目可不同；

预处理模块：对包含结节的CT图像进行预处理，即将CT图像重采样为统一规格，并进行数据增广，得到增广后的数据集，所述数据增广包括裁剪感兴趣的区域、旋转、平移等常用的数据增广方式，构成该数据集的每一个样本称为CT三维数据，所述样本即结节；

数据表征模块：使用深度卷积神经网络作为数据表征模块的主干，对预处理过的CT三维数据进行特征变换，得到对应结节的良恶性分类特征和对应的结节特征向量G∈R^c；