[发明专利]一种基于重生网络的早产儿视网膜病异常检测方法

权利要求书

1.一种基于重生神经网络的图像异常检测方法，其特征在于，在有限的数据量下，将眼底图片作为输入训练一个初步的神经网络模型，然后再对初步的模型进行多次迭代的自我知识蒸馏过程，在自蒸馏的过程中不断对机器学习到的知识进行提纯和集成，从而提高模型的判别精度，具体包括以下步骤：

(1)数据收集

从医院采集包括正常眼底图像和患者眼底图像，再患者眼底图像中包含1期ROP、2期ROP和3期ROP这3个阶段的眼底图像，正常人和患者的数量每种至少100人，每个人平均有20张左右的图像，要求每有正常和有患病特征的眼底图像的数量尽可能均衡，图片均为彩色三通道图像。

(2)图像标注

对来自正常人的眼底图像标签默认赋值为0，对于来自ROP患者的眼底图像，由医学专家为图像赋予标签，如果图像中没有ROP患病特征，则认为是正常图像，但为了防止引入数据噪声，这部分图像忽略不计，反之则标记为ROP图像，赋值为1。图像数据按类别分别存放。

(3)数据增强

这里我们主要使用三种数据增强的方式。

①图像规范化：

由于原始图像尺寸不一致，且图像较大，冗余特征过多，机器计算需要花费大量的时间和资源。因此对图像在保留其原始特征的情况下进行压缩，统一将原始图像尺寸resize为224×224.

②光照调节

由于ROP眼底图像受拍摄环境影响较大，这会导致图像亮度差异以及图像出现不同程度的亮斑，所以采用均匀分布来调整图像的亮度。

③图像旋转

由于网络的训练需要尽可能多的数据，所以对图像进行随机轻微旋转和镜像翻转来增加图像数据。

④图像标准化

为了尽可能减少奇异数据对模型带来的不良影响，我们使用Z-Score标准化方法，对图像的R、G、B三个通道的像素值分别进行标准化处理，即：

其中X_scale是归一化后的新的图像数据，x是原始图像，μ是所有样本均值，σ是样本标准差。

(4)构建神经网络模型

通过简单的实验和对原始图像的观察，我们发现眼底图像有很多细微的特征需要去捕获，因此我们使用深度残差神经网络Resnet作为基础模型架构来学习图像的细微特征。

(5)模型训练

在本发明中训练分为基础模型训练和自蒸馏迭代训练两个阶段。

基础模型训练阶段：按照经典的卷积神经网络训练方式，即首先将数据增强后的图像喂入Resnet中去，然后神经网络对眼底图像进行特征提取、运算，再将提取的特征不断向深层网络传递，直到得到一个计算结果后与原始标签进行比较，获取计算的梯度，执行反向传播算法，将梯度进行反传用以更新参数，整个过程不断重复，以获得一个较好的初代神经网络模型。

自蒸馏迭代训练阶段：也称为网络重生。也是本发明的关键阶段。首先将初步训练好的基础模型作为第0代模型，同时再构建一个与初始模型网络架构完全相同的新模型，要保证这个新的模型与初始模型具有不同的随机种子，然后将这个新的模型作为第1代模型。现在将第0代模型作为教师模型，将第1代模型作为学生模型，构建知识蒸馏体系。即：将教师模型softmax层的输出(软目标)作为学生模型需要去拟合的目标，企图让学生模型学习到教师模型的知识，同时，学生模型还要在自己的随机种子下对原始的图像进行学习(硬目标)，也就是不通过教师指导学习知识。然后将这两部分知识融合在一起，蒸馏进学生模型中去，相当于做了一次知识的提纯和集成，这样就可以在一定程度上提升学生模型的性能，于是就可以将这个训练好的学生模型作为我们的第1代模型。将这个过程不断迭代下去，即：将第1代模型再作为教师模型，去训练第2代学生模型…，不断迭代至K次，直到新模型的效果不再提升为止，同时在此过程中保留测试效果最好的参数。

(6)最终测试

在最终测试阶段，即模型整体评估预测的阶段，将训练阶段最好结果的模型参数载入模型，此时模型参数不需要再进行学习调整，全部固定，然后给模型输入ROP图像分类数据，得到预测结果，并对所有的预测结果进行整合，得到相应的统计结果即可。

2.根据权利要求1所述的ROP异常检测方法，其特征在于，步骤(5)中，所述的训练分为基础模型训练和网络重生训练(自蒸馏迭代训练)两个阶段。

2.1)、基础模型训练阶段：按照经典的卷积神经网络训练方式，即首先将数据增强后的图像喂入Resnet中去，然后神经网络对眼底图像进行特征提取、运算，再将提取的特征不断向深层网络传递，直到得到一个计算结果后与原始标签进行比较，获取计算的梯度，执行反向传播算法，将梯度进行反传用以更新参数，整个过程不断重复，以获得一个较好的初代神经网络模型。

自蒸馏迭代训练阶段：也称为网络重生。也是本发明的关键阶段。首先将初步训练好的基础模型作为第0代模型，同时再构建一个与初始模型网络架构完全相同的新模型，要保证这个新的模型与初始模型具有不同的随机种子，然后将这个新的模型作为第1代模型。现在将第0代模型作为教师模型，将第1代模型作为学生模型，构建知识蒸馏体系。即：将教师模型softmax层的输出(软目标)作为学生模型需要去拟合的目标，企图让学生模型学习到教师模型的知识，同时，学生模型还要在自己的随机种子下对原始的图像进行学习(硬目标)，也就是不通过教师指导学习知识。故损失函数定义为硬目标和软目标的加权损失，即然后将这两部分知识融合在一起，蒸馏进学生模型中去，相当于做了一次知识的提纯和集成，这样就可以在一定程度上提升学生模型的性能，于是就可以将这个训练好的学生模型作为我们的第1代模型。将这个过程不断迭代下去，即：将第1代模型再作为教师模型，去训练第2代学生模型…，不断迭代至K次，直到新模型的效果不再提升为止，同时在此过程中保留测试效果最好的参数。

2.2)、将数据划分为训练集、验证集和测试集。首先，使用训练集按所述训练过程输入模型进行学习，多轮次迭代后达到收敛状态。然后，使用验证集进行超参数的验证，多轮调优后，超参数达到最优。

在最终测试阶段，即模型整体评估预测的阶段，将训练阶段最好结果的模型参数载入模型，此时模型参数不需要再进行学习调整，全部固定，然后给模型输入ROP图像分类数据，得到预测结果，并对所有的预测结果进行整合，得到相应的统计结果即可。