[发明专利]基于双模态深度学习的眼底疾病辅助诊断方法和装置

说明书

本申请提出一种基于双模态深度学习的眼底疾病辅助诊断方法和装置，涉及数据处理技术领域，其中，方法包括：获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于双模态深度学习的眼底疾病辅助诊断方法和装置。

背景技术

通常，眼底疾病包括了玻璃体、视神经、脉络膜以及视网膜的炎症、肿瘤和各类血管的病变，或各种多系统疾病及变性疾病引起的眼部组织病变。我国是世界上盲人和视觉损伤患者数量最多的国家之一。目前我国有约2700万糖尿病视网膜病变患者，1600万青光眼疾病的患者，3000万黄斑病的患者。视力障碍将会严重影响人们的生活质量，然而，我国医疗资源人均占有率低，患者与专业医师间的比例严重失衡。近年来，为了有效缓解医生的工作量与患者需求量之间的矛盾，许多研究者将深度学习技术应用于眼底疾病智能辅助诊断领域。基于深度学习的计算机辅助诊疗系统可不间断工作，并一定程度上减弱了人类医生的主观性，使疾病的诊断更加客观、稳定。与此同时，深度学习技术可对医学图像中的病理特征进行逐像素的分析量化，为医生提供疾病诊断的参考。

相关技术中，1)只使用彩色眼底图像实现相关眼底疾病的智能筛查；2)只使用光学相干断层扫描(OCT，Optical Coherence Tomography)图像实现相关眼底疾病的智能筛查；方案1)和方案2)只使用单一模态的医学图像数据，数据收集较方便，但只使用单一图像进行辅助诊断是不符合医疗临床实际情况的。彩色眼底图像和OCT图像可分别从平面和横断面的视角展示不同的体征信息，许多眼底疾病如中心性浆液性脉络膜视网膜病变、年龄相关性黄斑变性、视网膜静脉阻塞、特发性息肉样脉络膜血管病变等都至少需要彩色眼底图像和OCT图像提供的体征信息才能进行确诊。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于双模态深度学习的眼底疾病辅助诊断方法，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。

本申请的第二个目的在于提出一种基于双模态深度学习的眼底疾病辅助诊断装置。

为达上述目的，本申请第一方面实施例提出了一种基于双模态深度学习的眼底疾病辅助诊断方法，包括：

获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；

分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；

根据预设特征融合策略对所述第一特征向量和所述第二特征向量进行融合处理，获取目标特征向量，并将所述目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。

本申请实施例的基于双模态深度学习的眼底疾病辅助诊断方法，通过获取同一只眼睛的彩色眼底图像和光学相干断层扫描OCT图像；分别对彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量；根据预设特征融合策略对第一特征向量和第二特征向量进行融合处理，获取目标特征向量，并将目标特征向量输入已训练的神经网络诊断模型，获取诊断结果。由此，获得不同视角的眼部体征信息，针对不同数据集、不同任务场景，选择合适的策略进行特征融合，提高眼底疾病辅助诊断的准确性。

可选地，在本申请的一个实施例中，所述分别对所述彩色眼底图像和所述OCT图像进行特征提取，获取第一特征向量和第二特征向量，包括：