[发明专利]基于注意力机制的光学喉镜图像病变区标注方法

说明书

本发明公开了一种基于注意力机制的光学喉镜图像病变区标注方法，主要解决现有技术没有针对光学喉镜图像进行病变区域标注及在小数据集上容易发生过拟合的问题。其实现方案：取得喉镜图像数据集以及图像数据集标签；对图像数据集进行缩放和中心化处理，将中心化后的图像数据集和图像数据集标签一起记为训练数据集；构造一个18层的网络，将训练数据集作为该网络的训练数据，利用自适应学习率优化算法优化该网络，得到训练好的网络；输入一张喉镜图像到训练好的网络，根据生成的报告在标签数据集中得到对应的病变区域并标注。本发明避免了对小数据集的过拟合，可获得光学喉镜图像的病变区域并标注，便于医生对光学喉镜图像进行诊断。

技术领域

本发明属于图像理解领域，特别涉及一种光学喉镜图像的病变区域标注方法，可用于光学喉镜图像的病变区域标注，提高医生对光学喉镜图像的诊断效率以及诊断精度。

背景技术

喉镜图像对于鼻腔以及咽喉部位疾病的诊断以及治疗有着重要的作用，然而喉镜图像的诊断一般都需要专业的医生在原始图像中对各个区域进行仔细地检查，这对于医生来说是一个具有挑战性的任务。因为原始图像中没有任何提示性的标注，所有病变只能依靠医生肉眼观察，长时间的观察会引起医生注意力下降以及精神疲劳，从而导致医生在检查时产生漏判和误判以及诊断效率的降低。所以，急需一种有效的方法来提高喉镜图像的诊断效率以及诊断精度。

近年来，深度学习在图像处理和分析领域掀起了一阵热浪，从低层次的图像去噪、超分辨任务到高层次的图像检测与图像理解都有涉及。这种信息处理机制模仿了人类视觉神经系统，对图像处理和分析十分有效，已经有一些研究工作将深度学习应用到了医学图像理解方面，并且取得了不错的结果。在医学图像理解的应用上，Eric P.Xing等人首先利用卷积神经网络CNN提取胸透图像特征，并用全连接层特征对图像做多标签分类，然后将卷积层特征以及多分类标签嵌入向量进行联合加权得到图像的联合特征，并使用双层长短期记忆网络LSTM对联合特征解码生成胸透图像的报告。Christy Y.Li等人也是利用CNN提取胸透图像特征，然后对图像特征进行编码得到图像内容向量，接下来使用堆叠循环神经网络RNN从内容向量循环得到话题向量，然后使用模板句生成图像报告或者使用堆叠RNN解码话题向量生成图像报告，最后通过报告的CIDEr分数作为奖励使用强化学习来实现网络的优化。Yuan Xue等人使用多个角度的胸透图像来生成图像报告，首先利用CNN对多个图像提取全连接特征与卷积层特征，然后将多个图像的特征堆叠在一起输入到LSTM生成一句总体的描述，接下来利用双向LSTM将上一句描述编码为语义特征，与经过加权的图像特征一起输入到另一个LSTM循环得到整个图像报告。但这些算法都是针对X光图像的处理，并没有针对光学图像提出对应的方法；另一方面，这些算法普遍使用LSTM解码，这使得模型参数较多，在小数据集上容易发生过拟合，从而导致模型的测试效果不好。

发明内容

本发明的目的在于提出一种基于注意力机制的光学喉镜图像病变区标注方法，以解决现有技术没有针对光学喉镜图像进行病变区域标注以及在小数据集上容易发生过拟合的问题。

本发明的技术方案是：利用CNN提取喉镜图像特征，然后使用门控递归单元GRU解码图像特征得到图像报告，最后根据图像报告在图片中标注出病变区域，从而实现喉镜图像的病变区域标注，其实现步骤包括如下：

(1)获取患者的喉镜图像，记为喉镜数据集P，并取得喉镜图像的医学报告，记为标签数据集R；

(2)获取训练数据集T：

(2a)将喉镜数据集P中每张图像缩小到224*224，并对缩小后的每张图像中心化，使每个通道像素均值为0，从中心化后的喉镜图像中取出一张喉镜图像，记为Z，将剩余喉镜图像组成中心化后的喉镜数据集P'；

(2b)将中心化后的喉镜数据集P'与标签数据集R进行合并，得到训练数据集T；