[发明专利]一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法

权利要求书

1.一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法，其特征在于：

第一步，利用已有的基于U-HRCT内耳迷路整体分割网络从影像数据中分割出内耳迷路，采用的分割网络为TransUNet，输入模型的数据为二维；

第二步，从内耳迷路分割掩码中进行中心骨线提取，将一个联通区域细化成一个像素的宽度，用于特征提取和目标拓扑表示；

第三步，利用DBSCAN聚类算法，先将内耳迷路骨架中的前庭结构提取出来；

第四步，利用PCA主成分分析投影法，将三维上、后半规管骨线点云进行降维，投影到二维平面，根据其在二维平面投影处于不同区间将其分离；

第五步，通过步骤三和四，得到内耳迷路各结构骨线点云簇，从骨线伪标签转化为内耳迷路伪标签这一过程使用了KNN最近邻分类算法；最近邻算法对于任意m维输入向量m＝3,分别对应于特征空间中的一个点的三维坐标，输出为该特征向量所对应的类别标签；最近邻算法利用训练数据对特征向量空间进行划分，并将划分结果作为最终算法模型，在这里训练数据选用的是骨线各点三维坐标，标签对应内耳迷路各结构；根据训练后的最终算法模型，输入内耳迷路各点三维坐标，模型自动输出各点对应结构标签，从而生成内耳迷路多级结构伪标签；

第六步，选择使用迁移学习方法，将TransUNet内耳迷路单一分割网络迁移为内耳迷路多级分割网络，首先将TransUNet单一分割网络除分割结果输出层外所有的参数加载至多类别分割网络，作为预训练权重，然后随机初始化多类别分割网络中最后的分割结果输出层；在TransUNet多类别分割训练阶段，允许所有网络参数反向传播并更新，初始学习率为0.01；在数据集方面，利用上述机器学习方法生成一共10例伪标签，其中9例作为训练集，1例作为验证集；通过上述训练方式得到内耳迷路多级分割初始模型，进一步对初始化模型进行优化；

1)筛选最有价值标注样本：

第一步，对内耳迷路多级分割结果进行VAE变分自编解码器形状建模，通过编码网络对内耳迷路结构进行特征学习和统计分析；解码器用于依据量化描述特征，对内耳迷路结构进行重建；将变分自编码器内耳迷路形态模型应用于分割模型算法的无参考评估，在一定程度上用来衡量内耳迷路分割结果的好坏；

对于一组输入数据X，隐式矢量Z(z1，z2，……，zn)的后验分布p(z∣x)通过变分分布q(z∣x)近似得到；在变分推断时，利用数据在训练中对证据下界最大化，如公式(1)所示：

其中，p(x)为证据概率，p(z)为先验，p(x|z)为似然概率；公式(1)右边第一项为计算KL散度的正则化项，约束后验近似于先验；第二项为基于隐式矢量重构原始输入的似然；VAE假设先验p(z)和近似后验q(z|x)服从高斯分布，即p(z)～N(0,I)；此外，重参数化被用于模拟近似后验q(z|x)；即通过假设z～N(μ,σ²)，隐式矢量z可由公式(2)进行重参数化得到；其中，均值μ和标准差σ由VAE模型在训练中通过梯度优化计算得到；

其中为均值为0，方差为I的正态分布，ζ服从此分布；

将所建立的形状平均统计编码作为金标准，通过比较待评估结果与金标准的编码余弦相似度实现无参考的分割质量评估，见公式(3)：

其中A_i和B_i分别代表待评估结果编码向量A和金标准的编码向量B的各分量；

第二步，采用TransUNet多级分割网络对未标注U-HRCT数据进行预测，在分割模型的决策层，提取出各类前景通道的概率矩阵，采用最大联通掩码将离散点区域的概率过滤，分别得到分割模型对每个结构类别的最大联通概率图，记作P_c，其中c∈(0，4)，然后基于不确定性评估对样本标注价值进行量化；

针对特定前景类别c，对于含有m幅切片，每幅n个像素的最大联通概率图，通过熵来定义模型预测的不确定性，见公式(4)：

其中，p_ij表示每个像素属于前景的概率；

第三步，筛选最有价值标注样本的策略结合步骤一内耳迷路分割结果掩码形状建模质量评估策略和步骤二中基于分割模型预测的不确定性来共同衡量未标注样本的标注价值，定义样本价值指数Q评估未标注样本的标注价值，见公式(5)：

Q＝λ₁×Norm(U)+λ₂×Norm(1-sim) (5)

其中，λ₁和λ₂为不确定性和余弦相似度之间的平衡系数，用于平衡不确定性和余弦相似度对于样本价值度量的贡献，sim和U分别为上述第一步和第二步得到的余弦相似度和不确定度；，λ₁和λ₂在均采用0.5；

3)基于增量学习的多级分割模型更新优化

第一步，上述步骤筛选出来的最有价值的标注样本，对初始多级分割模型而言，往往是模型难学的样本，针对这些困难样本，需要先对其进行数据增强操作；

第二步，多级分割模型优化阶段引入了Focalloss和Top-kloss损失函数；Focalloss的公式如下：

FL(P_t)＝-(1-P_t)^γlog(p_t) (6)

γ为一个参数，范围在[0,5]，当γ为0时，就变为了交叉熵损失函数；P_t代表着与groundtruth及类别y的接近程度，P_t越大说明越接近类别y；

在优化多级分割模型时，引用平均Top-kloss作为一种新的聚合损失，平均Top-kloss损失定义为样本集z上的前k个最大的损失的平均值，公式如下：

其中L_z(f)为集合损失是所有个体损失在训练样本上的累加，l_[i](f)为第i例样本的损失。

2.根据权利要求1所述的方法，其特征在于：采用颞骨U-HRCT数据集进行训练和预测；共计10例经过基于空间位置结构先验生成的内耳迷路多级标注伪标签，共生成水平半规管、上半规管、后半规管、前庭和耳蜗共计5个解剖结构；初始训练过程，使用9例数据作为训练集，1例数据作为验证集；初始模型使用无标注数据；

采用的数据预处理包括对U-HRCT数据病人信息脱敏和影像Hu值的归一化；

基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法过程如下：

a)基于伪标签的初始化模型生成

第一步：利用已有的基于U-HRCT内耳迷路整体分割网络从影像数据中分割出内耳迷路，采用的分割网络为TransUNet，输入模型的数据为二维，在模型分割完整一例数据后，将模型二维预测结构进行整合为一例三维内耳迷路掩码；

第二步，从内耳迷路分割掩码中进行中心骨线提取，然后利用DBSCAN、PCA等算法生成伪标签；其中，DBSCAN算法三次使用的Eps和MinPts值分别为Eps＝3，MinPts＝9、Eps＝6，MinPts＝3和Eps＝2，MinPts＝3；

第三步，选择使用迁移学习方法，将TransUNet内耳迷路单一分割网络迁移为内耳迷路多级分割网络，除了TransUNet最后的SegmentationHead模块中的Conv2d和Identity层进行初始化之外，其他层中的参数都选择导入内耳迷路单一分割网络预训练模型参数；

b)筛选最有价值标注样本：

第一步：本步骤中，完整的内耳迷路区域空间分辨率为256×256×112，采用2D VAE模型，对2D切片进行隐空间编码；隐空间维度初次采用32维训练VAE模型至收敛；接着，通过PCA对隐空间进行降维，在PCA降维保留95％信息的情况下，将单幅影像的隐空间维度降至24维；

第二步，在对样本价值指数Q由高到低排序后，从未标记样本池中选取价值最高的20％作为高价值样本；

c)基于增量学习的多级分割模型更新优化：

第一步：Focalloss是基于二分类交叉熵CE的损失函数，通过一个动态缩放因子，动态降低训练过程中易区分样本的权重；

第二步：平均Top-kloss损失定义为样本集z上的前k个最大的损失的平均值。