[发明专利]一种面向CT图像分割的知识蒸馏方法

说明书

本发明公开了一种面向CT图像分割的知识蒸馏方法，该方法首先提取特征图对，对同一份待分割的输入CT图像，从学生模型和教师模型中提取尺寸相同的特征图对；然后计算蒸馏损失，对特征图对中的各语义区域代表特征之间计算相似度，将学生模型和教师模型的相似度差值作为蒸馏损失；最后指导训练，将蒸馏损失和原本学生模型的分割任务损失回传给学生模型，更新学生模型的网络参数完成训练。本发明知识蒸馏方法专为医学CT图像设计，在不影响轻量级分割网络的运行效率的基础上，大大提高了其分割效果；使得轻量级模型在实际应用场景中可以替代重量级模型运行；通用性强，使用方便。

技术领域

本发明属于CT图像卷积神经网络分割领域，尤其涉及一种面向CT图像分割的知识蒸馏方法。

背景技术

在临床诊断上，计算机断层扫描(CT)是放射科医生和肿瘤学家用来评估和病变的最常用的影像方式。在CT图像上分割恶性组织对于癌症等病症的诊断、治疗、计划和跟踪治疗反应非常重要。器官和病灶分割也是许多治疗方案的先决条件。近年来，深度学习分割方法逐渐成为了主流。然而其中的主流算法为了追求分割的精度，其复杂度越来越高，难以在实际场景中部署。例如比较常用的神经网络分割模型DeeplabV3+(L.C.Chen,G.Papandreou,I.Kokkinos,K.Murphy,and,A.L.Yuille,Deeplab:Semantic imagesegmentation with deep convolutional nets,atrous convolution,and fullyconnected crfs,IEEE Trans.Pattern Anal.Mach.Intell.)的模型参数量高达5680万，而一种名为ENet(A.Paszke,A.Chaurasia,S.Kim,and E.Culurciello,Enet:A deep neuralnetwork architecture for real-time semantic segmentation,2016,arXiv:1606.02147.)的轻量型神经网络分割模型参数量仅有35.3万。但轻量级模型的效果往往较差。因此，如何压缩和优化大型模型使得最终算法既轻量的同时分割精度也令人满意成为了图像分割。

近年来，一种名为知识蒸馏的方法逐渐成为深度学习中的研究热点。该类方法是一种特殊的模型训练方法，能在训练过程中迫使学生模型(通常为轻量级模型)近似教师模型的输出结果或者卷积过程从而使得在不改变学生模型结构的前提下，提升其预测能力。近期也有一些用于分割问题的知识蒸馏方法被提出，例如结构化知识蒸馏(Y.Liu,K.Chen,C.Liu,Z.Qin,Z.Luo,and J.Wang,Structured knowledge distillation for semanticsegmentation,Proc.IEEE Conf.Comput.Vis.Pattern Recognit.)利用过程特征图中像素特征值之间的相似性关系作为知识进行蒸馏。适应性知识蒸馏(T.He,C.Shen,Z.Tian,D.Gong,C.Sun,and Y.Yan,Knowledge adaptation for efficient semanticsegmentation,Proc.IEEE Conf.Comput.Vis.Pattern Recognit.)采用了自监督技术，使得学生网络可以从通过自监督模块对齐后的特征中进行学习。但是，此前还没有一种为医学影像分割问题设计的知识蒸馏方法。

发明内容

本发明的目的在于针对现有知识蒸馏技术应用在医学影像分割场景时的不足，提供一种面向CT图像分割的知识蒸馏方法。本发明在使用卷积神经网络对CT图像进行分割时，优化与压缩CT图像分割网络，使轻量级分割神经网络模型(学生模型)在训练过程中，从已经训练好的(效果更好的)重量级神经网络模型(教师模型)中学习特征表达，以提升自身的分割效果；在训练完成后其本身仍然能保持原本的高预测效率。

本发明的目的是通过以下技术方案来实现的：一种面向CT图像分割的知识蒸馏方法，包括如下步骤：