[发明专利]一种基于三维全卷积神经网络的OCT内外指纹提取方法

权利要求书

1.一种基于三维全卷积神经网络的OCT内外指纹提取方法，其特征在于，所述方法包括如下步骤：

1)设OCT指纹体数据大小为W×H×N，即由N张分辨率为W×H的OCT图像组成，表示空间上连续的N张手指指纹的竖切面，选择几组连续的OCT图像，对每幅指纹图像中的角质层区域位置和乳头层区域位置进行手工标注，得到与OCT图像对应的标注图片，并对标注好的OCT图像进行ROI提取和数据增强，构成三维全卷积神经网络模型训练所需的标注数据集；

2)构建三维全卷积神经网络模型，设定训练参数和损失函数，使用标注好的数据集训练三维全卷积神经网络的模型，得到训练好的三维全卷积神经网络模型；

3)通过训练好的全卷积神经网络模型预测未标注的OCT图像的角质层、乳头层；

4)根据所有OCT图像的角质层和乳头层，按照相对深度，以及OCT图像空间顺序，经过拼接，分别得到OCT指纹的外指纹和内指纹；

所述步骤1)中，OCT指纹图像增强过程包括如下步骤：

1.1)首先对几组连续的OCT图像进行人工标注，在图像中标注出角质层和乳头层区域；

1.2)由于OCT图像大部分面积是背景，只有一部分为手指皮下结构，因此对每张OCT图像进行ROI提取，提取过程如下：利用大小相等的矩形框，大小为240×80，在图像中将包含角质层和乳头层的区域依次截取，同样对标注图也进行相同操作，获得相匹配的标注，这样不仅提高算法效率，也能获得更多OCT图像训练数据；

1.3)对OCT的ROI图像及其对应的标注图都顺时钟旋转90度，180度，270度以及水平对折，获得更多的训练样本；

所述步骤2)包括如下步骤：

2.1)构建一个三维全卷积神经网络模型，由于在连续的OCT图像中，角质层的位置以及乳头层的位置在空间上都具有连续性，因此构建一个三维的全卷积神经网络，与普通的全卷积神经网络输入为单张图片时，三维全卷积神经网络输入为一组连续的OCT图像，从而考虑了连续图像之间的空间关系，其中输入图片的大小为240×80×8，取8张连续的ROI图像，整个三维全卷积神经网络的层包括8个部分：

对于第一部分到第三部分，每部分均是由两个三维的卷积层和一个三维的池化层组成，对于第i部分，1≤i≤3，每个三维卷积层经过16*2ⁱ个大小为3×3×3的卷积核和RELU激活函数以及BN函数处理，三维池化层中将每2×2×2的像素合为一个像素并取其中的最大值，第i部分最后输出特征大小为(16*2ⁱ)×(240*2^-i)×(80*2^-i)×(8*2^-i)，则最后第三部分的输出为128×30×10×1；

第四部分为由两个卷积层组成，其中输入特征的大小为128×30×10×1，每个卷积层经过256个大小为3×3×3的卷积核和RELU激活函数以及BN函数处理，输出特征为256×30×10×1；

对于第五部分到第七部分，每部分均是由一个三维反卷积核以及两个三维的卷积层组成，对于第i部分，5≤i≤7，令t＝i-4，则三维反卷积得到的输出特征大小为(256*2^-t)×(30*2^t)×(10*2^t)×(1*2^t)，这里的维度大小与第8-i层两个三维卷积之后的维度大小一样，将这两个结果拼接起来，得到的特征大小为(256*2^-t*2)×(30*2^t)×(10*2^t)×(1*2^t)，在这之后经过两个三维卷积层，每个卷积层由256*2^-t个大小为3×3×3的卷积核和RELU激活函数以及BN函数处理，得到的特征为(256*2^-t)×(30*2^t)×(10*2^t)×(1*2^t)，这样最后第七部分的输出为32×240×80×8；

第八部分则是最后一个部分，由一个卷积层和softmax函数组成，卷积层只包括3个3×3×3的卷积核，得到的输出特征大小为3×240×80×8，最后经过softmax函数获得概率预测图，尺寸也为3×240×80×8，240×80×8代表的是输入的8张ROI图片，对于每张ROI图，生成3张概率图，分别代表像素为角质层、乳头层或背景的概率，哪个类别概率最大，则像素的预测就是该类别，对于某个像素，它是l类的概率p_l计算如下：

其中h_l是softmax的输入，1≤l≤3；

2.2)确定全卷积神经网络的参数，设置批的大小为2，将训练集中的图片以8张图片为一个批次，每次2批载入全卷积神经网络模型进行训练，迭代次数为100次即可得到训练好的网络；

计算各网络层的参数更新采用带有动量项的批量随机梯度下降算法mini-batch-SGD，其中动量项的值设为0.2；

使用dice损失函数；其函数形式如下：

上式中，p_l(x)和g_l(x)分别代表x属于l类的预测概率和真值概率。