[发明专利]基于双模态深度学习的眼底疾病辅助诊断方法和装置

权利要求书

1.一种基于双模态深度学习的眼底疾病辅助诊断方法，其特征在于，包括以下步骤：

获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；

使用异构提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；

根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果；

其中，特征融合策略包括基于特征的连接策略、基于特征的权重分配策略、基于分类结果的权重分配策略，根据数据集及任务特点选择特征融合策略作为所述预设特征融合策略；

根据所述基于特征的连接策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：

将所述第一特征向量和所述第二特征向量进行拼接，获取所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果；

其中，所述神经网络诊断模型包括全连接层，所述将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：

将所述目标特征向量输入全连接层，得到类别得分其中，表示的得分，W_con为全连接层参数，F_con为所述目标特征向量；

基于所述类别得分对所述目标特征向量进行分类，获取诊断结果；

根据所述基于特征的权重分配策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：

获取所述第一特征向量对应的第一权重，以及所述第二特征向量对应的第二权重；其中，所述第一权重和所述第二权重的和为1；

获取所述第一特征向量和所述第一权重的第一乘积与所述第二特征向量和所述第二权重的第二乘积的和作为所述目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取所述诊断结果；

其中，所述神经网络诊断模型包括全连接层，所述将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：

将所述目标特征向量输入全连接层，得到类别得分其中，W_add为全连接层参数，F_add为所述目标特征向量，F_add＝aF_f+(1-a)F_o，a为超参数，F_f和F_o分别为所述第一特征向量和所述第二特征向量；

基于所述类别得分对所述目标特征向量进行分类，获取诊断结果；

根据所述基于分类结果的权重分配策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果，包括：

将所述第一特征向量和所述第二特征向量分别输入已训练的神经网络诊断模型，获取第一分类结果和第二分类结果，

获取所述第一分类结果对应的第一权重，以及获取所述第二分类结果对应的第二权重；

获取所述第一分类结果和所述第一权重的第一乘积与所述第二分类结果和所述第二权重的第二乘积的和作为所述诊断结果；

其中，所述第一分类结果和所述第二分类结果表示为：

其中，W_f、W_o分别为应用于彩色眼底图像和OCT图像上的全连接层参数，F_f和F_o分别为所述第一特征向量和所述第二特征向量；

所述诊断结果表示为：

其中，a为超参数，为所述第一分类结果，为所述第二分类结果。

2.如权利要求1所述的方法，其特征在于，所述分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量，包括：

通过第一特征提取模块分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取所述第一特征向量和所述第二特征向量；或，

通过第一特征提取模块对所述彩色眼底图像进行特征提取，获取所述第一特征向量，以及通过第二特征提取模块对所述OCT图像进行特征提取，获取所述第二特征向量。