[发明专利]一种多模态肿瘤数据融合方法和装置

权利要求书

1.一种多模态肿瘤数据融合方法，包括以下步骤：

针对目标的影像数据，提取第一形态特征，该第一形态特征反映病变组织整体的几何形态表征；

针对目标的病理数据，提取第二形态特征和结构特征，该第二形态特征描述肿瘤细胞核的异常程度，该结构特征描述细胞的分布特点；

针对目标的基因数据，提取集群特征，该集群特征反映肿瘤在基因分子层面的表达特征；

将第一形态特征、第二形态特征、结构特征和集群特征通过经训练的融合网络进行融合，其中所述融合网络包括第一层网络和第二层网络，第一层网络基于从微观到宏观的变化将第一形态特征与第二形态特征、第一形态特征与结构特征、第二形态特征与集群特征、结构特征与集群特征进行两两融合；第二层网络对两两融合特征进一步融合，获得第一融合特征和第二融合特征；

利用第一融合特征和第二融合特征对目标进行分类识别或回归预测。

2.根据权利要求1所述的方法，其特征在于，所述第二层网络包含两条路径分支，一条路径分支对第一形态特征与第二形态特征、集群特征与结构特征进行融合获得第一融合特征，另一条路径分支对集群特征与第二形态特征、第一形态特征与结构特征进行融合获得第二融合特征，所述两条路径分支具有相同的结构，各包含输入层、多层全连接隐藏层和输出层。

3.根据权利要求1所述的方法，其特征在于，所述第一层网络将两两特征做克罗内克积，表示如下：

其中，A和B是维度分别为m×n和p×q的特征矩阵。

4.根据权利要求2所述的方法，其特征在于，所述第二层网络包含两条路径分支各包含两层全连接层作为隐藏层，并采用神经元丢弃策略和线性整流激活函数，将融合特征逐层降维，进而分别输出第一融合特征和第二融合特征。

5.根据权利要求1所述的方法，其特征在于，根据目标分类任务，将训练所述融合网络的损失函数设置为：

其中，N表示样本的总数，y_n为样本x_n的真实标签，表示样本x_n的预测概率，x_n为第一层网络融合得到的特征向量，n是样本索引下标。

6.根据权利要求1所述的方法，其特征在于，根据目标回归任务，将训练所述融合网络的损失函数设置为：

其中，t_i和t_j分别为第i个、第j个时间节点，R(t_i)为时间节点t_i时的风险集合，δ_i为数据删失标记。

7.根据权利要求1所述的方法，其特征在于，输入所述融合网络的各模态特征根据以下步骤获得：

针对提取的第一形态特征、第二形态特征、结构特征和集群特征各模态特征，分别使用特征嵌入选择方法筛选出高相关性特征；

使用主成分分析算法对筛选后的特征进行降维处理，并统一各模态的特征纬度。

8.一种多模态肿瘤数据融合装置，包括：

特征提取模块：用于针对目标的影像数据，提取第一形态特征，该第一形态特征反映病变组织整体的几何形态表征；针对目标的病理数据，提取第二形态特征和结构特征，该第二形态特征描述肿瘤细胞核的异常程度，该结构特征描述细胞的分布特点；针对目标的基因数据，提取集群特征，该集群特征反映肿瘤在基因分子层面的表达特征；

特征融合模块：用于将第一形态特征、第二形态特征、结构特征和集群特征通过经训练的融合网络进行融合，其中所述融合网络包括第一层网络和第二层网络，第一层网络基于从微观到宏观的变化将第一形态特征与第二形态特征、第一形态特征与结构特征、第二形态特征与集群特征、结构特征与集群特征进行两两融合；第二层网络对两两融合特征进一步融合，获得第一融合特征和第二融合特征；

预测模块：用于利用第一融合特征和第二融合特征对目标进行分类识别或回归预测。