[发明专利]一种计算机视觉和深度学习的眼底疾病可视化分析方法

说明书

本发明公开了一种基于计算机视觉和深度学习的眼底疾病可视化分析方法，包括：对现有眼底疾病模型的结果进行可视化处理，标记支持模型做出最终决策的重点区域；将可视化算法生成的类别激活图与原始眼底图像进行叠加，以对模型关注区域内的图像信息进行筛选；根据筛选结果进一步对眼底图像当中的特征利用统计学算法进行分析，将病灶特征与模型得到的眼底疾病分析结果相关联。与现有方法相比，本发明所设计的眼底疾病可视化方法兼顾网络的深层与浅层输出，从而能够更加全面地分析模型的决策过程，同时本发明也为眼底病变的机理研究提供了新的分析方法。

技术领域

本发明属于深度学习模型可视化技术，尤其涉及一种基于计算机视觉和深度学习的眼底疾病可视化分析方法。利用类别激活图映射的方法结合统计学算法对模型的决策过程进行解释和分析。

背景技术

临床研究表明，眼底的特异性改变会对人们的生活造成不可避免的影响，严重的视网膜病变甚至会导致失明，因此定期对眼底病变情况进行检测和诊断对于患者的及时发现和治疗有着重要意义。随着时代的发展，计算机视觉及深度学习技术的出现为眼底疾病的诊断和治疗提供了新的技术支持。

但由于深度学习模型的决策依据缺乏可解释性，因此为了更好的对结果进分析，需要对模型进行可视化处理。对于模型的可视化算法可以总结为过程可视化和结果可视化两大类。过程可视化是对学习过程中所提取的每张特征图进行可视化显示，用以评估模型的特征提取能力。结果可视化是在模型输出结果前对模型进行可视化处理，提取出模型做出决策的类别激活映射图或概率分布图等，用以分析模型的决策过程。因此模型的可视化为深度模型的可解释性提供了重要支持。

模型的可视化中最为经典的可视化方案是基于CAM(Class Activation Mapping)的可视化方法。它提出对一个深层的卷积神经网络而言，通过多次卷积和池化以后，它的最后一层卷积层包含了最丰富的空间和语义信息。所以说，要让卷积神经网络对其分类结果给出一个合理解释，必须要充分利用好最后一个卷积层。

然而，单纯的可视化处理只能够从类别激活图大致的找到模型对于图像当中的某些区域的关注程度，如果需要进一步获取图像当中的关键性信息或是对于其中的规律进行归纳总结就需要用到数学的方法。对于不同领域的图像而言，需要找到图像当中最为重要的特征进行统计分析，利用数据之间的关系来推导出存在于图像中的一般性规律。

发明内容

本发明采用的技术方案为一种计算机视觉和深度学习的眼底疾病可视化分析方法，该方法与现有的可视化算法相比考虑了更多层次的图像语义信息，同时可将可视化结果与输入图像进行协同分析，利用统计学的方法对关键特征进行统计和归纳，找到模型做出决策所依赖的病理学特征。该方法包括如下步骤：

步骤1，建立眼底病灶标注图像数据库。

对医学眼底疾病图像中的病灶以类别为单位进行人工标注，然后对带有病灶类别信息的标注结果进行组合，获得能够完整描述原始图像病灶信息的眼底病灶标注图像数据库。

步骤2，模型关注区域可视化处理。

以眼底病灶标注图像数据库为输入对眼底疾病图像分析模型进行多层次可视化处理，类别激活图的生成是基于CAM的思想，通过不同通道不同位置的特征值的线性组合得到的，改进之处在于：不仅不同特征图的权重不同，同一特征图内不同位置特征值的权重也不同。具体来说，设最后卷积层的输出t维特征图为T^t，该特征图中每个像素对应的权重设为表示特定空间位置 (i,j)处的对于最终第x类的重要性。则由此获得的第x类对应的激活图计算公式为：

与此同时，在保留相对位置靠后的深层特征图输出权重的同时，还保留相对位置靠前的浅层特征图输出权重。这样就可以利用深浅层次的类别激活映射图更完整的显示模型在决策过程中对眼底疾病标注图像当中不同区域的关注程度。

进行模型关注区域可视化处理的步骤如下：