[发明专利]一种深度迁移学习的不平衡分类集成方法

权利要求书

1.一种深度迁移学习的不平衡分类集成方法，其特征在于，应用于图像数据，包括以下步骤：

(1)建立辅助数据集：

根据目标数据的特性，选择或者采集与目标任务相关的数据组成辅助数据集；

(2)构建辅助深度网络模型和目标深度网络模型：

确定深度网络的结构，构建辅助深度网络模型和目标深度网络模型；

(3)训练辅助深度网络：

(3-1)利用无标签的辅助数据样本对栈式自编码器进行预训练；

(3-2)利用有标签的辅助数据样本对步骤(3-1)训练得到的网络参数进行调整；

(4)将辅助深度网络的结构和参数迁移到目标深度网络：

(4-1)将辅助深度网络中的一个或多个隐含层迁移到目标深度网络，迁移的隐含层不同能够得到不同的迁移合成目标网络；

(4-2)使用APE或者APCE作为损失函数，利用目标数据对迁移合成的各个目标网络中的一个或多个隐含层进行训练，得到若干个不同的迁移分类器；

所述步骤(4)具体为：

将辅助深度网络的结构和参数迁移到目标深度网络包括两步：

a、将辅助深度网络隐含层迁移到目标深度网络；迁移的对象包括任一隐含层、连续的若干个隐含层、整个网络的所有隐含层中的一种；

b、用APE和APCE作为损失函数，利用目标数据对迁移合成的各个目标网络进行训练得到目标分类器，训练过程能够“冻结”目标网络中的部分隐含层，即不改变该部分隐含层参数的数值；

损失函数APE和APCE的计算公式如下：

其中，M表示样本总数，N表示多数类样本的个数，P表示少数类样本个数，N+P＝M且NP，O表示输出层的神经元个数；auprc表示precision-recall曲线下的面积，precision-recall曲线是以recall为横坐标，precision为纵坐标，根据不同分类阈值下的precision和recall值绘制而成的曲线；当C＝N时，auprc^C表示多数类的auprc值；当C＝P时，auprc^C表示少数类的auprc值；表示样本i在输出神经元j的期望输出；表示样本i在输出神经元j的实际输出；

平均精度表示不同分类阈值下，不同召回率所对应的不同精度的均值；用平均精度计算auprc值：

其中，r(k)表示第k个分类阈值对应的召回率，p(k)表示第k个分类阈值对应的精度；

APE和APCE是应用于不平衡数据特征学习的深度网络的损失函数，APE是改进的平均精度方差损失函数，APCE是改进的平均精度交叉熵损失函数，利用auprc值实现对不同类别的样本的区别对待，在计算样本的损失代价时，动态调整样本的权值，对多数类样本赋予较少的权值，对少数类样本赋予更多的权值，由此训练得到的网络对少数类样本更加重视；

在步骤a中选择不同的隐含层迁移，或者在步骤b中选择局部网络层进行参数调整，通过迁移学习得到不同的分类器；由于目标数据的深度网络由辅助数据迁移学习得到，各个分类器的分类结果存在差异，或者偏向少数类，或者偏向多数类，甚至产生负迁移的现象；

(5)各迁移分类器的集成：

用步骤(4-2)的迁移分类器的分类结果计算auprc值的乘积作为分类器的权值，对各个迁移分类器的分类结果加权集成，得到集成分类结果，作为集成分类器输出。

2.根据权利要求1所述深度迁移学习的不平衡分类集成方法，其特征在于，步骤(1)中，所述辅助数据集是否与目标任务相关是通过经验判断。

3.根据权利要求1所述深度迁移学习的不平衡分类集成方法，其特征在于，步骤(2)中，所述深度网络模型为栈式降噪自编码器，栈式降噪自编码器的每一个隐含层都是一个降噪自编码器，设置深层网络的激活函数为Sigmoid函数。