[发明专利]一种3D网络模型预训练方法、系统、终端及存储介质

说明书

本申请所提供的一种3D网络模型预训练方法、系统、终端及存储介质，所述方法包括：将2D自然图像作为连续三个层面图像输入至3D网络模型中，并将2D自然图像标记标签输入至3D网络模型中；构建3D网络模型的主干网络，在z方向中不做池化或跨步卷积处理；将3D网络模型的预测结果进行2D转换，输出2D预测结果；根据所述2D预测结果与标记标签计算不同视觉任务的损失，利用回传损失梯度对所述3D网络模型进行训练，得到3D网络模型预训练模型；将3D网络模型预训练模型参数对目标3D网络模型进行初始化，使用目标数据集中的图像数据和对应的标注结果对目标3D网络模型进行训练；本申请使用2D自然图像进行3D网络模型预训练，提升了3D模型建模收敛速度和收敛精度。

技术领域

本申请涉及医学影像处理技术领域，尤其是涉及一种3D网络模型预训练方法、系统、终端及存储介质。

背景技术

随着人工智能技术的飞速发展，基于计算机视觉技术的医学影像处理技术受到了极大关注。和传统的2D自然图像不同，常见的CT，MRI等医学影像通常由多层图像组成，其本质上是对3D空间进行描述的3D图像。对于这一类医学影像的处理，需要具有3D上下文建模能力的3D卷积神经网络。由于医学影像领域里，数据集规模的限制，直接使用随机初始化的3D神经网络训练通常会遇到比较严重的过拟合问题，从而无法取得良好的效果。

针对这一问题，研究人员提出使用多种网络预训练的方法先获得一个具有一定特征表达能力的3D模型，使用该3D模型的参数对待训练模型进行参数初始化，然后再在此基础上使用医学影像数据和对应标注进行网络模型的训练。

目前获得3D预训练模型的方法主要有以下三种，第一是基于3D医疗图像(比如CT或者MRI)的自监督学习方法，第二是基于视频数据的有监督学习方法，第三种则是将2D预训练网络通过维度扩展，变化成3D预训练参数。第一种方案，优点在于直接使用了医疗数据，因此数据分布上和目标视觉任务比较一致，但是由于缺乏大规模的有标记标签的医疗影像数据库，此类方法退而求其次的采用自监督信号来驱动模型训练，不便于网络学到语义概念上具有不变形和判别性的特征，因此其性能有较大进步空间。第二种方案的优点在于可以使用大量视频数据进行有监督训练，学习到具有良好判别性和不变形的图像特征，但是视频数据因其规模通常特别大，存在着存储不便，训练时间偏长的缺点。第三种方案则由于缺少系统的训练，直接扩展后的参数通常并不能有效挖掘层与层之间的上下文信息，达到良好的3D建模能力，因此其性能通常并不稳定。

因此，亟需一种3D网络模型预训练方法、系统、终端及存储介质，以解决3D模型训练时医疗图像数据集缺乏标记标签、大规模视频数据集在样本量不大的情况下就需要占据大量存储空间，导致由于缺少完善的3D预训练方法，使得基于3D卷积的神经网络医疗影像处理任务中效果不理想的问题。

发明内容

针对现有技术的不足，本申请提供一种3D网络模型预训练方法、系统、终端及存储介质，解决了现有技术中由于缺少完善的3D预训练方法，使得基于3D卷积的神经网络医疗影像处理任务中效果不理想的问题。

为解决上述技术问题，第一方面，本申请提供一种3D网络模型预训练方法，包括：

将2D自然图像作为连续三个层面图像输入至3D网络模型中，并将2D自然图像标记标签输入至3D网络模型中；

构建3D网络模型的主干网络，在z方向中不做池化或跨步卷积处理；

将3D网络模型的预测结果进行2D转换，输出2D预测结果；

根据所述2D预测结果与标记标签计算不同视觉任务的损失，利用回传损失梯度对所述3D网络模型进行训练，得到3D网络模型预训练模型；

将所述3D网络模型预训练模型的参数对目标3D网络模型进行初始化，使用目标数据集中的图像数据和对应的标注结果对目标3D网络模型进行训练。