[发明专利]一种基于跨媒体特征的眼底图像自动标注方法

说明书

本发明公开了一种基于跨媒体特征的眼底图像自动标注方法；该方法具体如下执行步骤；步骤1:预处理；步骤2:实现特征提取操作；步骤3:注意力机制的引入；步骤4:先验框生成；步骤5：检测器生成；步骤6:选取正负样本；步骤7:计算损失；步骤8:网络训练。本发明使用计算机视觉技术以及自然语言处理技术，探索两类媒体特征之间的语义关联，该方法破除了常规标注方法的两点不足：第一病灶标签的种类多样性，本方法可以对十余种眼底图像中常见的病灶进行标注，使用目标识别的方法给出每一个病灶在眼底图像中的具体位置，而不是仅仅指出病灶种类。第二点：病灶本身的多样性，本方法采用跨媒体特征的方式，使用文本数据加强特征的提取，从而提高对病灶标注的效果。

技术领域

本发明涉及眼底图像标注领域，具体来讲是一种基于跨媒体特征的眼底图像自动标注方法。

背景技术

随着医学影像技术的不断发展，人类对眼底疾病的检测已经进入了一个更加智能化的时代，计算机辅助诊断技术可以帮助医学工作者自动的检测眼底图像中出现的疾病。但是随着时间不断的向前迈进，大量的眼底图像在产生以后，并没有得到充分的利用，而计算机辅助诊断眼底疾病却又依赖得以标注好的眼底图像。这一技术与现实的矛盾亟待解决。因此对眼底图像的自动标注具有十分重要的意义。

对图像进行标注即赋予图像标签，这些标签可以分为两种：图像级别的弱标签，以及像素级别的强标签。然而基于分类的标注方法得到的弱标签相对于强标签来说，实用性不强，所以实际工程中主要是进行强标签的标注工作。强标签标注方法可以是基于分割的标注方法，基于目标识别的标注方法。

传统的对自然图像的标注方法可以使用人工标注方式，即手动的在图像中标注出目标的掩膜，或者目标的边界框。虽然这种人工方式十分费事费力，但是仍然有大量的工程采用这种方法，因为这种方法标注自然图像中出现的物体如猫，狗，云朵等等是可行的。然而不同于自然图像，眼底图像中的病灶十分微小，而且数量多，形状各异，另外没有医学知识的普通标注工作者是很难分别出病灶在哪里，而且多个病灶之间具有很大的相似性，很容易就会标注错，因此使用人工方式进行眼底图像的病灶标注显然是不可行的。

截止目前，已经有很多医学图像自动标注的方法，例如上文中提到的基于分类方法的眼底图像标注，这些技术已经用到了对糖尿病视网膜病变(糖网病)、对老年性黄斑病变(AMD)等疾病的检测中，但是这些检测技术具有很强的局限性，一方面这些技术仅仅只是针对眼底图像中出现的疾病进行检测，是一种上层应用型的技术，对于一张眼底图像来说，真正需要进行标注的是眼底图像中出现的病灶，标注好的病灶对于后续的应用研究以及疾病相关性探索具有基础性的意义。另一方面正如上文中提到的基于分类方法给出的标注只是图像级别的弱标签，相对于分割和目标识别方法给出的强标签来说，弱标签应用性不高。当然也有一些基于分割的方法对眼底病灶进行标注的，但是这些方法都只是对眼底图像中的单个病灶进行分割，这种标注方法不能全面的对眼底图像中的病灶进行标注，眼底图像存在几十种病灶类型(如微动脉瘤，渗出，玻璃膜疣，出血，高荧光，低荧光，豹纹状眼底，色素紊乱，色素沉着，无灌注区，荧光渗漏，荧光积存，屈光介质不清等等)，而每一张眼底图像都可能对应一个或多个病灶，所以需要一种可以同时标注多实例多类别病灶的自动标注方法。然而使用上述单一种类病灶分割方法拓展进行多种病灶分割是极其困难的，原因也在于上文所说的病灶数量多，大小不一，有的病灶如豹纹状眼底可以覆盖眼底图像中的大部分区域，而有的病灶如微动脉瘤只有几个像素，所以本发明采用了一种基于跨媒体特征的做法，使用眼底图像所对应的眼底报告对病灶的标注进行信息提示，在标注的同时能够从文本数据中获得更多的信息，从而提高标注的效果。

与本发明相关的现有技术：

现有技术方案一：2019年，Zhao等人在《BIRA-NET：Bilinear Atention Net forDiabetic retinopathy Grading》中提出了一种基于双线性模型以及注意力机制的自动糖网病分期的方法，该方法通过将模型的注意力集中到对分类具有显著性意义的区域，提高模型的分类准确性，另外使用双线性机理可以进一步强化分类特征，该技术在实验中取得了很好的结果。