[发明专利]一种基于自注意力蒸馏的弱监督文字检测方法

权利要求书

1.一种基于自注意力蒸馏的弱监督文字检测方法，其特征在于：包括图片分类和图片检测，具体如下：

获取图片样本，并将图片样本中的含文字图片和不含文字图片分别标记为正负样本；对于获取后的正负样本采用VGGNet网络作为主干网络训练为基于弱监督的文字分类网络；

通过训练好的文字分类网络对待检测图片的输出信息进行筛选，筛选出包含有文字的文字候选区，然后根据文字候选区生成伪标注来训练文字检测网络，并通过自注意力蒸馏法提高文字检测网络检测文字精度。

2.根据权利要求1所述的基于自注意力蒸馏的弱监督文字检测方法，其特征在于：训练文字分类网络时，在VGGNet网络结构中的高层卷积层使用层次Inception模块，使其前后层的特征图分别进行下采样和上采样然后相结合生成F_AIF，然后使用注意力SelfAttention模块沿特征通道使用池化操作压缩前述F_AIF，再将调整尺寸后的新特征图与压缩后的F_AIF点乘，最后通过全局平均池化完成图片分类。

3.根据权利要求1所述的基于自注意力蒸馏的弱监督文件检测方法，其特征在于：使用训练好的文字分类网络对待检测图片进行分类，即进行像素级判别，判断图片中是否含有文字；正样本中包括有文字计数。

4.根据权利要求1所述的基于自注意力蒸馏的弱监督文字检测方法，其特征在于：对待检测图片进行文字检测时，包括以下步骤：

(1)使用Edge Boxes法为输入的待检测图片生成一组候选区，将所有候选区输入到训练好的分类网络中计算其对比度分值CS，并根据对比度分值的大小进行排序：

其中，为给定候选框，是对应的图像，是将输入待检测图片中部分掩膜后的图像，p_c表示输入为文字图像的概率；

如果值比较大，则意味着是文字区域的可能性大，然后选择对比度分值CS取值最大的前M个候选区作为正训练样本，而与之重叠的IoU在[0.1，0.5)的候选区作为负训练样本来训练文字检测器；

(2)使用CNN提取候选区特征来训练新的文字检测网络，该文字检测网络有两个输出分支；一个输出分支计算输入的待检测图片为文字图像的概率，另一个分支输出对文字窗口回归的坐标偏移。

5.根据权利要求1所述的基于自注意力蒸馏的弱监督文字检测方法，其特征在于：训练文字检测网络时在各迭代时间点均可通过注意力生成模块AGM使用自注意力蒸馏SAD进行迭代求精，使低层注意力热图从高层注意力热图获取有用的上下文信息；

上述迭代过程中，对应损失如下：

其中，M_fin(i)和M_fin(i+1)分别表示检测网络中相邻卷积层上AGM生成的注意力热图，P为使用注意力生成模块AGM的卷积层数目；

使用自注意力蒸馏SAD后，训练文字检测网络的总损失函数为：

L＝L_mul+λ·L_dis，L_mul为两个输出分支的损失，λ用于调节使用SAD的权重。

6.根据权利要求5所述的基于自注意力蒸馏的弱监督文字检测方法，其特征在于：所述注意力生成模块AGM可适配分类和检测网络特征差异，其具体过程为：

令输入注意力生成模块AGM的特征图为其中H和W分别为特征图的长与宽，C为当前卷积层的通道数；

首先，对F沿通道使用平均池化，设F_j为第j个通道上的特征图，记

然后，对M_att进行sigmoid变换；

最后，将非线性热图与M_att相乘得到M_fin，M_fin进行适配分类和检测网络的特征差异。

7.根据权利要求1所述的基于自注意力蒸馏的弱监督文字检测方法，其特征在于：训练文字检测网络时将文字计数信息作为图像级监督信息中的一种，并在训练时先选择若干较大分数值的候选框，然后执行基于计数的区域选择算法CRS来得出最合适的候选框作为正训练样本调节文字检测网络。