[发明专利]基于影像与基因特征融合的肺癌亚型诊断系统

权利要求书

1.基于影像与基因特征融合的肺癌亚型诊断系统，其特征是，包括：

数据获取模块，其被配置为：获取同一患者的待诊断影像数据和待诊断基因数据；

影像特征提取模块，其被配置为：从待诊断影像数据中，提取不同分辨率下的待诊断影像特征；

基因特征提取模块，其被配置为：从待诊断基因数据中，提取待诊断基因特征；

特征融合与亚型诊断模块，其被配置为：将待诊断基因特征与每个分辨率下的待诊断影像特征进行特征融合，得到每个分辨率下的待诊断融合特征；对每个分辨率下的待诊断融合特征进行诊断，得到每个分辨率下的诊断结果；将所有分辨率下的诊断结果进行融合，得到当前患者的肺癌亚型诊断结果。

2.如权利要求1所述的基于影像与基因特征融合的肺癌亚型诊断系统，其特征是，所述从待诊断影像数据中，提取不同分辨率下的待诊断影像特征；具体包括：

从待诊断影像数据中，选取设定尺寸大小的感兴趣区域；

根据不同分辨率，将感兴趣区域切割为若干个互不重叠的切片；

将每个分辨率对应的所有切片，输入到训练后的相应分辨率的特征提取网络中，得到相应分辨率的若干个切片特征；

将每个分辨率对应的所有切片特征进行特征组合，得到每个分辨率对应的影像特征。

3.如权利要求2所述的基于影像与基因特征融合的肺癌亚型诊断系统，其特征是，所述训练后的相应分辨率的特征提取网络；训练步骤包括：

构建依次连接的分辨率为a1的特征提取网络和基于切片特征的癌症亚型诊断网络；其中，特征提取网络采用卷积神经网络Inception-V3来实现；所述基于切片特征的癌症亚型诊断网络，采用全连接神经网络来实现；

构建第一训练集与验证集；所述第一训练集与验证集为已知癌症亚型分类标签的分辨率为a1的若干个切片图像；

将第一训练集与验证集，输入到分辨率为a1的特征提取网络中，分辨率为a1的特征提取网络的特征提取结果输入到基于切片特征的癌症亚型诊断网络中，通过训练集的诊断结果来计算交叉熵损失，并通过该损失对特征提取网络和基于切片特征的癌症亚型诊断网络参数进行优化，选取在验证集上诊断性能最好的参数作为训练后的分辨率为a1的特征提取网络；

同理，得到训练后的所有分辨率的特征提取网络。

4.如权利要求1所述的基于影像与基因特征融合的肺癌亚型诊断系统，其特征是，从待诊断基因数据中，提取待诊断基因特征；具体包括：

采用训练后的基于注意力的基因特征提取网络的基因注意力机制层，从待诊断基因数据中，捕捉第一基因数据特征；

采用训练后的基于注意力的基因特征提取网络的基因特征提取子网络，从第一基因数据特征中，提取出第二基因数据特征；将第二基因数据特征作为待诊断基因特征；

其中，所述基于注意力的基因特征提取网络，包括：依次连接的基因注意力机制层和基因特征提取子网络；

其中，基因注意力机制层通过注意力机制层来实现；

其中，基因特征提取子网络，通过全连接神经网络来实现。

5.如权利要求4所述的基于影像与基因特征融合的肺癌亚型诊断系统，其特征是，所述训练后的基于注意力的基因特征提取网络，训练步骤包括：

依次连接的基于注意力的基因特征提取网络和基于基因特征的癌症亚型诊断网络；

其中，基于基因特征的癌症亚型诊断网络，是通过全连接神经网络来实现的；

构建第二训练集与验证集；所述第二训练集与验证集为已知癌症亚型分类标签的第一基因数据特征；

将第二训练集与验证集输入到基于注意力的基因特征提取网络中，基于注意力的基因特征提取网络将基因特征提取结果输入到基于基因特征的癌症亚型诊断网络中，通过训练集的诊断结果来计算交叉熵损失，并通过该损失对基因特征提取网络和基于基因特征的癌症亚型诊断网络参数进行优化，选取在验证集上诊断性能最好的参数作为训练后的基于注意力的基因特征提取网络。