[发明专利]预测肿瘤突变负荷的多模态模型构建方法及电子设备

权利要求书

1.一种预测肿瘤突变负荷的多模态模型构建方法，其特征在于，包括以下步骤：

(1)在获取的癌症组织切片的HE病理图像中获得HE图像的肿瘤区域坐标文件，对HE图像的肿瘤区域坐标文件进行特征提取，得到HE图像特征；

(2)获取HE病理图像相应患者的临床病理信息，编码为临床特征，并对临床特征根据重要性进行筛选，得到筛选的临床特征；

(3)将HE图像特征与筛选的临床特征利用紧凑双线性池化方法实现不同模态数据的融合得到融合后的特征；

(4)获取至少部分癌症组织切片或临床病理信息对应的受试者的TMB检测结果，并根据规定阈值将受试者分为TMB高低两个标签；

(5)利用卷积神经网络对所述融合后的特征进行训练得到多模态模型。

2.根据权利要求1所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，步骤(1)包括采用卷积神经网络ResNet-18提取图像特征，包括将ResNet18最后一层卷积特征经全局池化后得到一个512维的向量作为HE图像特征。

3.根据权利要求1所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，步骤(1)进一步包括对肿瘤区域坐标文件进行预处理，从而将肿瘤区域坐标文件划分为设定像素大小的小块图像；

对小块图像进行降噪处理，得到降噪后的小块图像；

将降噪后的小块图像进行颜色归一化处理，得到标准化图像。

4.根据权利要求1所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，步骤(2)包括采用独热编码将临床信息编码为临床特征。

5.根据权利要求1所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，步骤(2)包括采用随机森林对临床特征进行重要性排序，并根据重要性筛选临床特征。

6.根据权利要求1所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，步骤(5)包括采用交叉验证将HE图像的肿瘤区域坐标文件分为训练集和测试集，训练集的数据根据特征提取和特征融合的方法进行构建模型，在测试集上执行验证预测分类。

7.根据权利要求1所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，步骤(5)还包括基于选自接受者操作特性曲线下面积、准确率、召回率、查准率和F1分值的至少一个指标评估多模态模型的性能。

8.根据权利要求7所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，所述多模态模型构建时TMB高低是与第一癌症相关的高低状态，且将构建得到的所述多模态模型迁移学习到与第二癌症相关的TMB高低状态的预测。

9.根据权利要求8所述的预测肿瘤突变负荷的多模态模型构建方法，其特征在于，包括根据与第二癌症相关的TMB高低状态预测的性能进一步包括融合分子标志物特征的步骤；

优选地，所述分子标志物特征选自mRNA、miRNA、lncRNA、甲基化、基因拷贝数变异和混合多组学特征。

10.一种用于预测肿瘤突变负荷的电子设备，其特征在于，包括：

至少一个处理器；和

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-9任一所述的多模态模型构建方法。