[发明专利]一种基于增强型栈式自动编码器的自动图像标注方法

权利要求书

1.一种基于增强型栈式自动编码器的自动图像标注方法，其特征在于，按照如下步骤实现：

步骤S1：构建栈式自动编码器模型，在所述栈式自动编码器模型上判别弱标签样本，并添加噪声以增加所述弱标签样本的训练次数，进而构建平衡栈式自动编码器模型；

步骤S2：通过所述平衡栈式自动编码器模型对训练图像分组训练子平衡栈式自动编码器模型，加权累加各组最优子模型得到增强平衡栈式自动编码器模型；

步骤S3：将未知图像输入到所述增强平衡栈式自动编码器模型并输出标注结果；

在所述步骤S1中，还包括如下步骤：

步骤S11：定义编码器f_θ和解码器g_θ'；所述编码器f_θ将输入图像x转换为隐层表达h，解码器g_θ'将所述隐层表达h重构为与所述输入图像x维度一致的向量x'；其中，f_θ(x)＝σ(W·x+b)，θ＝{W,b}，W为网络权重，满足W'＝W^T，b为偏置向量，为激活函数；θ'＝{W',b'}；

步骤S12：学习一个函数使输出x'＝g_θ'(f_θ(x))和所述输入图像x近似，且定义损失函数为L(x,x')＝(x-x')²，并通过最小化损失函数进行学习：

步骤S13：记用于图像标注的SAE模型有L层，并用序号l∈{1,...,L}表示；用h^l表示第l层的输出向量，W^l和b^l表示第l层的网络权重和偏置，通过自动编码器对{W^l,b^l}，l∈{1,...,L}逐层预训练；

步骤S14：执行前馈过程并用后向传播算法调优；所述栈式自动编码器模型的前馈操作表述为：h^l+1＝σ(W^l+1h^l+b^l+1)，l∈{0,...,L-1}；所述栈式自动编码器模型的后向传播算法调优表述为：其中，是多个自动编码器模型的合成函数，而θ_l为参数{W^l,b^l}，l∈{1,...,L}，损失函数为L(x,y)＝(x-y)²；

步骤S15：定义约束变量，令向量C＝(c₁,c₂,...,c_M)，表示关键词y_i在训练集P中出现的次数，表示关键词的平均出现次数；向量C＝(c₁,c₂,...,c_M)表示第i幅图像x_i的每个关键词Y_i^j，j∈{1,2,...,M}在训练集中出现的次数Y_C,i＝C*Y_i；从而得到在图像x_i中出现次数最低的关键词为

步骤S16：定义Φ(x)函数，所述栈式自动编码器模型在训练过程中对训练样本进行判断，若输入图像x包含低频标签的个数多于k个，则对该输入图像x添加适当的噪声；定义Γ(x)函数，对输入图像x增加训练强度，若该输入图像x所包含标签的出现次数低于预设阈值，则增加训练次数，其中，函数Γ(x)为：

其中，α和β为常系数，β用于确定需要加重训练的样本，α用于控制需要加重训练的样本的训练强度；

函数Φ(x)为：

其中，χ为常系数，用于控制噪声添加的强度，d为图像x_i特征的维度，表示图像x_i第j个维度的值，Ran(·)为随机数函数；

步骤S17：调整优化等式得到平衡栈式自动编码器模型模型；将调整为将调整为当模型训练好后，所述平衡栈式自动编码器模型的最后一层的输出即为预测图像的关键词的预测分布D；

在所述步骤S2中，还包括如下步骤：

步骤S21：分组训练子平衡栈式自动编码器模型模型，将平衡栈式自动编码器模型模型按不同的加噪方式划分不同的组，每一组内根据不同的隐层神经元个数划分子模型t表示平衡栈式自动编码器模型模型采用第t种加噪方式，k表示第k个子B-SAE模型设置的隐层神经元个数；

步骤S22：设置初始权值并计算子平衡栈式自动编码器模型模型模型分类误差率，对训练数据设置权值如下：

计算的分类误差率：其中，表示：假设图像x_i的真实标签集Y_i包含c个关键词，并通过模型预测得到标签集Y_i^*的个数也为c个，如果Y_i＝Y_i^*，则为false，否则为true；

步骤S23：计算平衡栈式自动编码器模型模型权重，并更新训练数据权值；根据组内所有子模型的分类误差率，可以得到该组分类误差率最低的模型B-SAE^t以及对应的分类误差率e^t，计算B-SAE^t的权重：当第t组的模型训练完后，更新训练数据的权值，以获得下一组模型的权重，更新训练数据权值的方式如下：

步骤S24：加权累加子平衡栈式自动编码器模型模型得到增强平衡栈式自动编码器模型，当所有组都训练完后，即得到关键词预测分布：