[发明专利]基于多模态信息融合的病毒性肺炎智能诊断系统

权利要求书

1.基于多模态信息融合的病毒性肺炎智能诊断系统，其特征在于，包括以下步骤：

S1、输入患者的样本数据，其中，所述样本数据包括肺部影像数据和临床文本信息；

S2、采用构建的融合分析网络，对输入的所述样本数据进行融合诊断分析，输出最终的诊断结果，其中，所述诊断结果包括，病毒性肺炎，普通肺炎和无肺炎。

2.根据权利要求1所述的基于多模态信息融合的病毒性肺炎智能诊断方法，其特征在于，构建所述融合分析网络的方法包括以下步骤：

A1、收集样本数据；

A2、从所述影像数据中提取肺实质区域；

A3、从所述肺实质区域中提取出肺部影像特征；

A4、对所述临床文本信息进行结构化处理，并于结构化的数据中提取文本结构特征；

A5、将所述肺部影像特征与所述文本结构特征进行融合；

A6、在形成融合分析网络后，继续将不同类型的样本数据对所述融合分析网络进行迭代训练直至网络收敛，其中，所述类型包括，病毒性肺炎，普通肺炎和无肺炎的样本数据。

3.根据权利要求2所述的基于多模态信息融合的病毒性肺炎智能诊断方法，其特征在于，在所述步骤A2中包括：

构建带深度残差模块的U-Net分割网络；

采用所述分割网络于所述影像数据中提取出所述肺实质区域。

4.根据权利要求2所述的基于多模态信息融合的病毒性肺炎智能诊断方法，其特征在于，在所述步骤A3中，采用卷积神经网络于所述肺实质区域中提取所述肺部影像特征。

5.根据权利要求2所述的基于多模态信息融合的病毒性肺炎智能诊断方法，其特征在于，在所述步骤A4中对所述临床文本信息进行结构化处理，已形成结构化的辅助特征向量。

6.根据权利要求2所述的基于多模态信息融合的病毒性肺炎智能诊断方法，其特征在于，在所述步骤A5中，采用典型相关性分析对从两种不同模态中提取的特征进行联合，其中，不同模态包括肺部影像特征与所述文本结构特征。

7.根据权利要求1所述的基于多模态信息融合的病毒性肺炎智能诊断方法，其特征在于，所述临床文本信息包括：一般接触史，性别、年龄、职业及体温、淋巴细胞和氧饱和度。

8.一种基于多模态信息融合的病毒性肺炎智能诊断系统，其特征在于，包括：

输入模块，用以输入患者的样本数据，其中，所述样本数据包括肺部影像数据和临床文本信息；

融合分析诊断模型，对输入的所述样本数据进行融合诊断分析；

输出模块，用以输出最终的诊断结果，其中，所述诊断结果包括，病毒性肺炎，普通肺炎和无肺炎。

9.一种非易失性存储器，其中存储有软件，其特征在于，所述软件用以实现权利要求1-7中任一所述的病毒性肺炎智能诊断方法。

10.一种诊断设备，包括一个或多个处理器和与其耦合的一个或多个存储器，其特征在于，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；

所述一个或多个处理器用于执行所述计算机指令并实现权利要求1-7中任一所述的病毒性肺炎智能诊断方法。