[发明专利]一种面向大尺度图像数据的残差语义网络训练方法

权利要求书

1.一种面向大尺度图像数据的残差语义网络训练方法，其特征在于，所述方法包括以下步骤：

步骤1、基于全局训练策略的语义分割模型，过程为：

步骤1.1下采样数据和标注：将原始数据I进行2倍下采样处理以缩小原始数据的尺度，下采样D方式为三维线性插值；同样对于手工标注也用该方法缩小尺度，分别对每个类的标注数据进行下采样，然后再叠加在一起，对插值重叠处类别的选择优先级为：内腔，外壁，背景；

步骤1.2Unet模型训练：模型最后得到的是一个小尺度上的概率图，再用三维上采样的方式将其恢复到原始尺度大小，考虑到该语义分割网络对应的结果是多分类以及目标类别不平衡性，采用多类别dice loss函数L_mcd：

此外，由于全局模型输出包含2个尺度的估计，对以上loss函数再增加了多尺度监督的内容：

L^s_mcd为小尺度上的残差，L^o_mcd为原始尺度上的残差计算；

步骤1.3基于全局的语义分割模型：训练完模型之后，由于全局模型f_g的输出，进行上采样操作U后可以得到原始大小的整个目标分割S_g，根据每个体素位置的概率直接对其进行分类判断：

步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型，过程为：

步骤2.1从原始尺寸的图像中裁切训练数据块：裁切将在手工标注的有效区域中，对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入，而对应位置在手工标注中裁切的图像块为学习的目标P_c(N,C,D,H,W)，此外还记录在采集块的中心位置POS₀(x,y,z)，为加速网络训练我们采取批训练的方式，将多个数据块构成一个小批次进行网络的训练，所述小批次中每批N组；

步骤2.2从训练好的全局模型中裁切全局特征块：首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集，为了融合之前全局模型训练的特征，对裁切位置进行位置尺度映射：

其中i表示的对应的尺度等级，i＝0时表示在原始尺寸上，训练好的基于全局的模型，全局模型G对应特征等级：fg₁、fg₂、fg₃、fg₄、fg₅；要准备进行融合训练的基于局部的语义分割模型，局部模型P对应特征等级：fp₁、fp₂、fp₃、fp₄、fp₅，在相同的特征级上，图像的尺度等级不同，因此特征融合处理时要对齐它们的尺度等级，即：

然后对于对应好的特征等级进行特征叠加；

步骤2.3基于局部语义分割模型的测试/运用：

训练完成融合全局特征的局部语义分割模型之后，运用这个模型进行整体目标分割S_p时，需要采用融合局部估计的方法，以固定的步长，重叠地用三维滑动窗口方式在原始数据中裁切块I_pi进行模型进行局部估计f_p，然后平均每个位置的估计概率，即除以每个位置被估计的次数C_nt，最后取对应位置的最大概率作为该位置的分类：

2.如权利要求1所述的一种面向大尺度图像数据的残差语义网络训练方法，其特征在于，所述2.2中，对于对应好的特征等级按照以下流程进行特征叠加：

步骤2.2.1叠加解码器端的全局特征：将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中，增加待卷积的特征图数量2倍；

步骤2.2.2叠加编码器端的全局特征：将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法，裁切相应的尺度的特征图块，叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中，并且加上来自自身解码器端的特征图叠加，使得待卷积的特征图数量增加4倍；

相应灰色区域对应同类模型的某一特征等级的一组解码编码器，每个泳道矩形框省略来自前一级的输入和后一级的输出，其中左边的是已经完成训练的全局模型，右边则是需要进行的融合特征的局部模型训练；

对于模型优化的loss函数：当输入通过模型进行映射后得到估计的结果P_c’，使用多类别dice残差函数：

N为目标类别数，即每个体素有N类，C为对应的某一类，当该类相应的体素位置被标注时，P_c为对应该位置的值为1，否则为0，而P_c’代表模型对该位置给予该类的一个估计概率。