[发明专利]一种引入空间信息的2D卷积方法

说明书

本发明涉及一种引入空间信息的2D卷积方法，属于数字图像处理和模式识别领域，包括以下步骤：S1：数据准备阶段：从三维医学图像中截取一个64×64×64大小的图像切块；S2：特征提取阶段：通过2D卷积提取图像切块三个轴面的特征；S3：特征融合阶段：把三个轴面的特征图相加，实现不同轴面特征的融合，引入空间信息。本发明方法能够在2D卷积中引入空间信息，应用在2D神经网络中可以更好的帮助网络学习医学图像切片之间的空间信息。同时与其他在2D卷积中引入空间信息的方法相比本方法构建的模型拥有更小的参数，更高的精确度。最后，本方法可以简单的添加到现有的模型中，方便对模型进行改进。

技术领域

本发明属于数字图像处理和模式识别领域，涉及一种引入空间信息的2D卷积方法。

背景技术

U-net被证明在医学图像处理任务上十分有效，但对于U-net的2D卷积来说，每张切片的处理都是独立，没有考虑切片间的关系。而基于3D卷积的V-net，能够很好的提取空间信息，在基于深度学习的医学图像处理的任务上取得很好的效果。许多研究者基于3D的全卷积网络，结合密连接块或者在网络中加入全局的信息，增强特征在网络中的复用，提高学习的效率，在医学图像处理任务上也取得了很好的效果。但是，3D网络存在计算资源要求较高，网络训练周期长，预测时间长等问题。

对于2D网络来说，要更精确的去处理医学图像，比如进行分割任务，原始的U-net已经不能胜任。因此，需要在2D网络中引入空间的信息，让网络能够学习到切片间的信息。有研究者提出将三张连续的切片堆叠成一张3通道的切片，输入到神经网络中进行训练，输出中间切片的分割结果。但是，这种方法提供的空间信息有限，同时多张输入预测单张切片在一定程度上造成资源的浪费。另一种更常用的方法是对目标的三个轴面同时做模型训练，生成3个模型分别提取每一个轴面的特征，最后将3个模型的结果融合起来。这种方法需要训练三个相同的模型，网络的训练过程中不同轴面的信息依然是独立的，没有考虑到不同轴面切片间特征信息的融合，只在最后将结果进行了融合，同时训练3个模型也造成了计算资源的浪费。

发明内容

有鉴于此，本发明的目的在于更有效的在2D卷积中引入空间信息的卷积机制，能够通过旋转一组连续切片的轴，让2D卷积核能够同时卷积每一个轴面提取特征，最后将不同轴面卷积得到的特征图旋转后相加实现多维度信息的融合，提供一种引入空间信息的2D卷积方法。

为达到上述目的，本发明提供如下技术方案：

一种引入空间信息的2D卷积方法，包括以下步骤：

S1：数据准备阶段：从三维医学图像中截取一个64×64×64大小的图像切块；

S2：特征提取阶段：通过2D卷积提取图像切块三个轴面的特征；

S3：特征融合阶段：把三个轴面的特征图相加，实现不同轴面特征的融合，引入空间信息。

进一步，所述步骤S1包括以下步骤：

S11：对整个三维医学图像进行归一化，让整个图像的均值为0，标准差为1，即使图像灰度分布服从正态分布；转换公式为：

S12：从三维医学图像中截取一个64×64×64大小的图像切块，此操作是为了保证卷积输入的64张64×64大小的数据切片之间存在空间信息。

进一步，所述步骤S2包括以下步骤：

S21：使用2D卷积提取图像切块水平轴(Vertical)面的特征得到一个大小为64×64×64的特征图；

S22：将原始图像切块绕额状轴(Frontal)顺时针旋转90°，然后使用2D卷积提取图像切块矢状轴(Sagittal)面的特征得到一个大小为64×64×64的特征图；