[发明专利]一种两阶段深度迁移学习中医舌诊模型

权利要求书

1.一种两阶段深度迁移学习中医舌诊模型的建构方法，其特征在于，两阶段深度迁移学习中医舌诊模型需要三个阶段：基于两阶段深度迁移学习的中医舌诊病灶特征识别，异常舌像的病灶检测和标注，异常舌像的判别；在基于两阶段深度迁移学习的中医舌诊病灶特征识别阶段，定义两阶段的深度迁移学习，针对数据缺乏和训练开销问题，针对性地获取舌像诊断中代表性病灶特征的识别能力，并且建立高性能神经网络，基于深度卷积特征范式，将输入舌像图片转换为向量，构建对输入数据的深层抽象表示；利用特征金字塔网络对多尺度特征进行融合；在异常舌像的病灶检测和标注阶段，针对精确度问题，利用大、中、小三种尺度进行检测，着重对小尺度病灶进行检测；形式化检测代价函数，度量检测结果；对于检出的病灶，用边界框标注病灶范围并予以记录，保存检测结果，以便后续利用；在异常舌像的判别阶段，根据第二阶段中检索出的症状的数量及其严重程度，模拟中医诊疗“众诊合参”过程进行诊断，判断病人具有何种异常舌像，为中医舌诊提供辅助决策；

(一)第一阶段是基于两阶段深度迁移学习的中医舌诊病灶特征识别阶段，具体步骤为：

1)构建更深层的神经网络

构建完成的神经网络包括53个卷积层，卷积层进一步细分为单卷积层和多卷积层；此外，网络中还包括用于实现上采样和特征图融合操作的Route层，以及实现ShortCut捷径操作的由残差模块构成的残差层；进一步的，集成SE块到现有的残差层中的残差模块上，对残差层进行优化；

2)利用两阶段深度迁移学习的思想，分别采用基于样本的迁移和基于模型的迁移手段，使模型在训练数据有限的情况下，得以掌握对模型间易于共享的低级特征进行识别和提取的能力；

(1)采用基于样本的深度迁移方法

首先使用成熟模型作为源域；训练的第一步是从这些数据集上获得网络的初始化权重，从而迁移对低级特征的学习能力，使得模型不需要从零开始定义并掌握对共享低级特征的识别能力；接下来，采用深度迁移学习方法中的样本迁移理论，针对性的选择具有和病灶表现出的代表性形态特征相似的实体作为输入，对模型进行特化训练；异常舌像裂纹舌的代表性特征包括舌体上的明显裂纹，这些裂纹和龟裂的大地呈现出的裂纹是有共性的；基于样本的深度迁移基于这一理论，使用大地裂纹作为相似样本输入模型，将模型的权重进行微调从而获得对裂纹的识别能力；以此类推，使得模型能够从具有大样本量的具有和病灶相似特征的样本中，学习对病灶可能出现特定高级特征的判断能力，在高层将低级特征重新组合成为符合中医舌诊要求的病灶特征；与此同时，采用图像增强技术和实例迁移技术共同起到平衡数据集的作用；最后，原始训练数据和增强数据一起被发送至网络，加载初始训练权重，获得数据集的权重，测试样本被载入网络，同时前一步的权重被加载以获得测试输出；

(2)结合基于网络的迁移方法，对步骤(1)中训练好的网络架构和重要参数进行迁移并调整，使之更适用于具体任务；具体的：继承源域神经网络的层作为特征提取器来提取通用特征；这些层在进一步的训练中将大部分被冻结，全连接层和交互层则被重新训练以适应具体任务，用于特征识别、特征融合和分类；原始结构和超参数将首先直接作为新的神经网络的一部分使用，并在其后微调以适应异常舌像的检测任务；

3)基于两阶段深度迁移学习的中医舌诊模型，以及基于两阶段深度迁移学习的思想构造一个高性能的深度神经网络架构的实现过程；构建舌像特征提取和融合模块，通过多个卷积层和抽样层的堆叠，构建深度特征抽取与多尺度特征融合网络，包括反向参数更新计算和前向特征提取计算；在反向参数更新计算中，模型采用反向传播算法对网络参数进行更新，在前向特征提取过程中，模型涉及：(1)深度特征提取计算；(2)多尺度特征融合计算；其具体方式如下：

(1)网络首先通过特征提取模块进行深度特征检测和提取计算；网络接受416*416维的图像输入，输出13*13维的特征图；具体地，首先使用3*3卷积层构建特征提取模块的主干网络，在减少模型参数的同时增加模型深度；然后随机向特征提取模块的主干网络添加1×1卷积层，在不过多增加网络参数的前提下进一步提高深度特征提取网络的深度，最终提高模型的学习能力；

(2)特征融合模块对特征图进行融合叠加，进行多尺度特征融合计算；具体地，首先通过特征融合阶段的卷积层自底至顶逐层构建金字塔模型中的每层特征图，逐层构建输入图像的语义特征；然后通过上采样操作自顶至底构建金字塔模型中对应层强语义特征，最后，通过通道叠加操作在Route层融合金字塔模型中对应层特征，构建最终输出特征；通过Route层的上采样实现特征图的叠加，在特征提取模块中的计算层，图片被转换成向量表示并输入模型，分别在52*52、26*26以及13*13三种尺度上进行特征图的高层强语义特征与底层强结构特征的融合，从而构建特征融合模块；

(二)第二阶段是异常舌像病灶检测和标注阶段，具体步骤为：

在异常舌像的病灶检测中，一部分常见舌像病灶的尺寸相比整张图片较小，需要从大、中、小三个尺度展开多尺度检测，强调对小尺度目标的检测能力；同时为了抑制图片背景影响，需要对舌体进行有效的标记，保证病灶出现在舌体上；在病灶检测计算中，模型不仅要检测出输入的图像中是否包含病灶及其对应的数量，而且还要分别提供其位置信息；即：模型要在检测图像中准确标注出边界框；

通过病灶中心位置信息、边界框的宽高信息、边界框的置信度信息以及所属类别置信度信息4种信息构建病灶检测计算的网络输出层，作为后续判断病症和为异常舌像进行分类的依据；同时，基于均方差误差函数设计代价函数，包括预测边界框中心坐标损失、预测边界框宽高损失、预测边界框置信度损失和预测类别置信度损失；具体地：

预测边界框中心坐标损失E₁的形式化定义如下：

其中，N表示病灶检测器输出结果个数；I_i表示第i个输出结果中是否包含病灶目标，I_i＝1表示包含，I_i＝0表示不包含；t_w,t_h表示病灶目标真实边界框的高度和宽度，t_w×t_h即能得到病灶目标边界框的相对面积，取值范围(0,1)，用于加权预测的边界框；t_x,t_y表示病灶目标的真实中心坐标位置，b_x,b_y表示预测的病灶目标中心点坐标位置；

预测边界框宽高损失E₂的形式定如下：

其中，t_w,t_h表示病灶目标真实边界框的高度和宽度，b_w,b_h表示病灶目标预测边界框的高度和宽度；

预测边界框置信度损失E₃的形式定义如下：

其中，t_c表示病灶目标边界框真实置信度，p_c表示网络预测的病灶目标边界框置信度；

预测类别置信度损失E₄的形式定义如下：

E₄＝(I_i-p_i)²                              (13)

其中，p_i表示预测的置信度或者概率；

整体检测代价函数形式化定义如下：

其中，E₁表示预测边界框中心坐标损失，E₂表示预测边界框宽高损失，E₃表示预测边界框置信度损失，E₄表示预测类别置信度损失；

(三)第三阶段是异常舌像判别阶段，具体步骤为：

利用异常舌像判别模块，根据检测到的病灶实现异常舌像的分类；区别于传统方法使用整张图片输入神经网络直接对其进行分类，通过目标检测方法记录检测出的病灶及其置信度定义的严重程度，依此定义分类算法，模拟中医诊疗中“众诊合参”的重要思想，根据检出病灶的数量及其严重程度做出综合判定，最终为病人具有何种异常舌像进行判断和划分，从而为中医舌诊提供辅助决策。