[发明专利]一种面向大尺度图像数据的残差语义网络训练方法

说明书

一种面向大尺度图像数据的残差语义网络训练方法，包括以下步骤：步骤1、基于全局训练策略的语义分割模型，过程为：步骤1.1下采样数据和标注；步骤1.2Unet模型训练；步骤1.3基于全局的语义分割模型；步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型，过程为：步骤2.1从原始尺寸的图像中裁切训练数据块；步骤2.2从训练好的全局模型中裁切全局特征块；步骤2.3基于局部语义分割模型的测试/运用。本发明在保证较高准确率的同时，极大地提高工作效率。

技术领域

本发明属于医学图像处理领域，涉及一种面向大尺度图像数据的残差语义网络训练方法。

背景技术

目前在人工智能技术领域中，对于大尺度(大分辨率)的医学图像的语义分割，分为以下几类：

1)逐块分割patch-wise:该类方法只用一个图像的块特征来预测一个像素或体素的类别。具体描述为：先把大尺度的医学图像在每个像素/体素的位置裁切固定的大小的块，这样一张图对应的有效块样本数量就会大量增加，用这些带有目标的图像块作为训练集，来训练一个具有多层神经网络的编码器，通过最深层的特征映射该像素/体素所代表的块为目标的概率，因此每一像素都能对应一个目标概率，最后构造成原图尺寸大小的概率图，通过阈值判定进行目标分割。

2)基于局部训练策略的语义分割(patch-level)：该方法仍然是基于裁剪局部的块作为训练集，采用了语义分割的技术，以端到端的方式，直接返回网络输入大小的概率图或分类图。具体描述为，构建一组对称的编码器和解码器的网络，首先图像通过多层神经卷积获得深度特征，再通过多层网络的转置卷积，将深度特征恢复成原图大小的概率图，此外在他们中间(编码器每个尺寸的最后的输出对应解码器相应尺寸的第一个输入)加上跳跃连接以保证解码特征的平滑性能。但是基于局部块的语义分割仍然是对应局部尺寸，因此通常采用重叠的滑动窗口判别方式，重叠地采样并获得相应的概率，在对每个像素/体素取平均来获得最终的概率图。

3)基于全局训练策略的语义分割(global-level)：该方法和第二种方法的模型结构类似，只是在处理训练集时，对整体图像先进行重采样操作(一般是下采样2倍)，使得整体的训练参数和计算量降低。但是为了重新恢复原图尺寸的概率图，在模型输出之后会进行上采样操作(无需训练参数的双线性/三线性插值方法)。

为了更清楚地观测病人的病灶状况，利用卓越的成像技术生成分辨率较高的三维图像，这将极大地提升的整个深度学习的代价，特别是基于三维空间下的语义分割网络训练，模型的参数和训练过程中的计算量相较于该技术运用纯熟的二维空间以指数形式增长，常规的硬件设备不能或者难以对原始大尺度数据进行训练，为了训练的进行各种训练策略由此产生，如上述现有技术介绍的，他们具有各自的特点和适用范围：

1)逐块分割patch-wise:

该方法是对原始大尺度图像进行切块的操作，通过块区域判定该块中心点对应的图像体素的类别，因此建立的神经网络模型比较简单，适用于分割整个图像尺度非常庞大而目标相对较小的目标，例如在病理图像的癌细胞组织分割，脑部MRI的病变组织和肿瘤分割，这类方法由于图像非常庞大，特别是进行三维分割操作时，构成的块数据集更加复杂，模型的拟合程度变得很差，使得整个图的分割效率更加低下。

2)基于局部训练策略的语义分割(patch-level)：

该方法是对原始大尺度图像进行切片和切块的操作，但是属于块对块的映射，判定块整个区域每个体素的类别。因此该方法适用在较大分辨率图像中分割较小的器官、病变组织等，对于第一类的方法，在分割效率上有明显提高。但该方法仍然是局部对象的观测及判定，对于目标整体没有一个较好的描述，在目标稍大的情况下容易造成欠分割，在有存在多种易混淆目标的情况下则容易造成过渡分割。

3)基于全局训练策略的语义分割(global-level)