[发明专利]全局和局部特征同时提取与融合的多器官分割方法及装置

说明书

全局和局部特征同时提取与融合的多器官分割方法及装置，能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。包括：(1)对CT图像预处理；(2)设计卷积神经网络CNN和Transformer并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；并行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；(3)进行特征交换、特征一致性损失评估、特征融合。

技术领域

本发明涉及医学图像处理和深度学习的技术领域，尤其涉及一种全局和局部特征同时提取与融合的多器官分割方法，以及全局和局部特征同时提取与融合的多器官分割装置。

背景技术

腹腔多器官的分割可应用于多个重要临床领域，包括疾病的精准识别、详细分析、合理诊断、预测与预防等，精确的器官分割也是手术导航系统的基础。传统的手动分割方法由于过度依靠医生经验，极其耗费时间等缺陷远远无法满足临床快速、精确的需求。近年来，得益于深度学习技术的飞速进步，基于卷积神经网络(CNN)的医学图像分割方法也得到了十足的发展。基于卷积神经网络的腹腔多器官分割方法取得了不错的效果，但是由于卷积神经网络本身存在的局部性问题，导致其全局和大范围的图像特征提取能力受到一定限制。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种全局和局部特征同时提取与融合的多器官分割方法，其能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。

本发明的技术方案是：这种全局和局部特征同时提取与融合的多器官分割方法，其包括以下步骤：

(1)对CT(Computed Tomography，电子计算机断层扫描)，电子计算机断层扫描图像进行预处理；

(2)设计卷积神经网络CNN(Convolutional Neural Networks)和

Transformer(Transformer是一种神经网络，它通过跟踪序列数据中的关系来学习上下文并因此学习含义)并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；并

行编码器包括CNN和Transformer编码器各一个，CNN编码器采用连续三维卷积块，Transformer编码器为连续三维Swin

Transformer块，编码器各个阶段间均通过跨度为2的卷积实现降采样；

(3)进行特征交换、特征一致性损失评估、特征融合，融合两种编码器特征，消除CNN和Transformer特征的差异性，提升特征融合效果，保证解码器输入特征的一致性和有效性。

本发明提出了一种更加有效的CNN和Transformer混合的腹腔多器官分割网络；同时使用Transformer编码器和CNN编码器混合构成并行编码器，充分发挥CNN的局部特征提能力和Transformer编码器的全局特征提取能力；基于并行编码器，在编码器各个尺度处插入了特征交换模块增强编码器特征流动，缓解不同编码器特征间的差异性；此外，提出了特征融合模块和特征一致性损失函数对两种编码器输出特征进行耦合，保证解码器输入特征的一致性。因此，能够提高特征提取能力，缓解不同编码器特征间的差异性，保证解码器输入特征的一致性，实现更加精确的多器官分割。

还提供了全局和局部特征同时提取与融合的多器官分割装置，其包括：

预处理模块，其配置来对CT图像进行预处理；

并行编码器，其设计CNN和Transformer并行编码器结构，同时使用CNN和Transformer编码器分别提取图像局部特征和全局特征；