[发明专利]基于逐层标签融合深度网络的图像标注方法

权利要求书

1.一种基于逐层标签融合深度网络的图像标注方法，其特征在于，该方法包括以下步骤：

步骤1、对于训练集中的训练图像，提取其底层视觉特征X；

步骤2、对于所述训练图像的标签进行层级化，构建标签的层级结构；

步骤3、对于所述训练图像，逐层融合其底层视觉特征信息和标签信息，并通过深度网络参数学习，得到所述训练图像的层级特征表示；

步骤4、对于测试集中的测试图像，提取其底层视觉特征，然后通过所述深度网络学习得到其层级特征表示，最后根据所述测试图像的层级特征表示预测其标注信息。

2.根据权利要求1所述的方法，其特征在于，所述训练图像的底层视觉特征为其尺度不变特征变换特征。

3.根据权利要求1所述的方法，其特征在于，所述深度网络的层数为L，标签层级结构的层数为K，其中，L>K，所述深度网络各层的变量表示为h={h⁽⁰⁾，...，h^(L)}，其中，h⁽⁰⁾表示图像的底层视觉特征X；所述标签层级结构对应各层的变量表示为y={y^(L-K+1)，...，y^(L)}。

4.根据权利要求3所述的方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：通过构建自编码器，基于重构误差对于深度网络中从h⁽⁰⁾层到h^(L-K+1)层的参数进行初步调整；

步骤3.2：对于所述深度网络中的h^(L-K+1)层到最高h^(L)层，结合深度网络中的某一层，比如h^(l)层和标签层级结构中的相应层，比如y^(l)层，进行特征融合以及所述深度网络中相应参数的调整。

5.根据权利要求4所述的方法，其特征在于，所述步骤3.1进一步包括以下步骤：

步骤3.1.1：从h⁽⁰⁾层向上到h^(L-K+1)层，在每相邻两层之间构建一个自编码器，通过所述自编码器可由下一层的表示得到上一层表示的映射；

步骤3.1.2：由上一层表示映射回来得到下一层的重构表示；

步骤3.1.3：根据正确表示与重构表示之间的差错，对于所述深度网络的参数进行调整，直到h^(L-K+1)层。

6.根据权利要求5所述的方法，其特征在于，所述步骤3.1.3中，使用最小化重构交叉熵来对所述深度网络的参数进行调整。

7.根据权利要求4所述的方法，其特征在于，所述步骤3.2进一步包括以下步骤：

步骤3.2.1：利用所述标签层级结构中的某一层y^(l)标签调整所述深度网络中从h⁽⁰⁾到h^(l)层的参数；

步骤3.2.2：通过h^(l)层和y^(l)层表示合并学习得到h^(l+1)层的特征表示，并对所述深度网络的相应参数进行调整，直至h^(L)层。

8.根据权利要求7所述的方法，其特征在于，所述步骤3.2.1和步骤3.2.2中，基于交叉熵损失，利用后向传播算法对于所述深度网络进行参数调整。

9.根据权利要求7所述的方法，其特征在于，所述步骤3.2.2中，将h^(l)层和y^(l)层的表示合并起来，与h^(l+1)层的表示构成一个自编码器。

10.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤：

步骤4.1：对于测试图像提取其底层视觉特征；

步骤4.2：利用所述深度网络，得到所述测试图像底层视觉特征的层级特征表示；

步骤4.3：利用所述测试图像的层级特征表示预测所述测试图像的标签信息。