[发明专利]一种多模态肿瘤数据融合方法和装置

说明书

本发明公开一种多模态肿瘤数据融合方法和装置。该方法包括：针对目标的影像数据，提取第一形态特征；针对目标的病理数据，提取第二形态特征和结构特征；针对目标的基因数据，提取集群特征；将第一形态特征、第二形态特征、结构特征和集群特征通过融合网络进行融合，其中融合网络包括第一层网络和第二层网络，第一层网络从微观到宏观的变化将第一形态特征与第二形态特征、第一形态特征与结构特征、第二形态特征与集群特征、结构特征与集群特征进行两两融合；第二层网络对两两融合特征融合，获得第一融合特征和第二融合特征；利用第一融合特征和第二融合特征对目标进行分类或预测。本发明实现对多模态数据的综合分析，为临床提供辅助参考。

技术领域

本发明涉及医学图像处理技术领域，更具体地，涉及一种多模态肿瘤数据融合方法和装置。

背景技术

癌症是一种复杂疾病，不同病人之间，不同的病程发展阶段，不同的组织器官中，其宏观表现与细胞形态各不相同，具有很强的异质性。为了癌症的准确诊断与治疗方案的设计，临床上会对患者做多种检查，例如影像学检查、病理检查、基因组测序检查等，由此能够获得多种类型的数据，医生根据这些数据再结合患者的临床表现来分析癌症的各个方面。

影像学检查是临床上最常用的检查方法之一，包括X射线、计算机断层成像(CT)、磁共振成像(MRI)、超声成像、正电子发射体层成像(PET)等。结构影像和功能影像相结合，可以直观反映病变情况。病理学检查是癌症诊断的金标准，通过显微镜对组织的直接观察对肿瘤良恶性和亚型作出判断。临床基因组检测则可以得到患者的DNA分子信息，例如转录组测序信息(RNA-Seq)、拷贝变异数(CNV)、甲基化比例等，反映病变的分子层面的信息。随着计算机和信息技术的快速发展，临床检查得到的数据都可以数字化储存，这是实现数据的计算机智能分析的前提。

临床检查得到的数据多种多样，分析过程也变得复杂起来，往往需要多个科室或机构合作，例如影像组学数据的获取与诊断需要影像科的参与，病理切片的观察诊断需要病理科参与，基因组学数据又需要生物信息学的专业研究人员分析，最终的诊断与治疗方案设计需要由患者主治医生来完成。数据分析和各方沟通的工作繁重，各部分专业要求高，还有一些环节不可避免地会受到主观经验的影响，这些因素降低了工作效率和分析准确性。因此，癌症诊疗对客观高效的数据分析方法具有很强的需求。

近年来，随着技术发展和需求增长，医学领域数据智能分析逐渐成为研究热点。相比于传统的分散的数据分析方式，智能多模态数据分析方法针对不同数据的特点分别提取数据特征，再集成分析，一方面避免了多科室多机构沟通联系造成的效率低下，另一方面也避免了医生主观经验对分析造成的影响。相比于已有的计算机智能数据分析方法，传统算法仅采用单模态数据或多模态的影像数据进行分析，很少将影像与基因、宏观与微观、表观与分子数据相结合进行联合的多模态分析。传统的算法采用的融合方法也较为简单，通常是特征直接拼接或多数投票决策，难以对多模态数据间的潜在联系建模，对模态间冗余信息和互补信息的分析也较少。

目前，针对癌症数据的计算机智能分析研究大多还集中于影像或基因等单模态数据中，很少有将结构图像、功能图像、基因组数据、病理图像及临床信息等多种数据联合分析的研究成果。使用单一模态的数据只能获取较为片面的信息，因此无论是诊断还是预后的准确率都很难再有大的突破，而使用多模态数据从不同方面形成对对象的更完整的表示描述是一种可行的方法。然而，现有的多模态数据融合分析的研究面临以下困难：

1)数据类型多样，分布复杂，需要通过计算机实现数据的整合分析，需要对不同模态依据其特点分别进行处理，寻找既能保留其特异性又便于联合协调的子空间表示；

2)各模态数据之间的联系未知，一些联系在生物学中已探明，另一些联系生物学中也暂不明确，这给各模态数据特征的融合分析带来了困难，通过计算方式建立各模态间联系的数学模型是一大挑战；

3)数字病理图像中包含的信息难以完全利用，例如，传统机器学习或深度学习方法提取的特征往往缺少结构信息，仅提取形态特征或像素特征，没有对细胞分布等结构性特征的表示。