[发明专利]一种用于视频字幕的文本行检测方法

说明书

本发明披露一种用于视频字幕的文本行检测方法。该方法包括以下步骤：首先初始图像通过改进的特征提取网络，提升了浅层特征中的目标语义信息的敏感性，增加了深层次特征空间特征信息，然后利用区域生长网络生成一定数量的矩形特征候选框区域，再通过特征分类回归网络进一步对区域生成网络中判定的目标区域候选框的坐标点位置进行修正，进一步提高了文本行检测的效果。本发明提出的用于视频字幕的文本行检测方法有效提高了字幕文本行的检测准确率，并在不增加模型的参数量的同时大大降低预测所花费的时间。

技术领域

本发明涉及文本检测技术，深度学习技术，尤其涉及一种用于视频字幕的文本行检测方法。

背景技术

随着互联网视频内容的不断增加，以及数字图书馆、视频点播、远程教学等大量的多媒体应用，如何在海量视频中检索出所需要的信息显得至关重要。

文本行检测的方法有很多。传统的文本行检测方法需要人工设计特征，往往不同的图像需要设计不同的特征提取方式，工作量巨大，且对涉及人员的要求很高，需要有丰富的专业知识。但随着深度学习在目标检测领域取得的出色检测效果，一些基于深度学习的文本行检测方法应运而生。然而，对于视频字幕的文本行检测，现有的检测方法中，由于大多都是通过仿照VGG16 与VGG19等网络，通过将若干个卷积层串行的进行堆叠成块后，作为图像特征抽取器并进行训练，在对于浅层特征中的目标信息与非目标信息的提取不具有足够的敏感性导致模型仅能够将所有提取特征信息全部前向传播至图像特征抽取器中更深层次的卷积层中进行语义信息判断，然而深层次卷积层由于经过了降采样操作后，使得抽取到的特征中的空间信息大量丢失，导致最终判断的目标文本的定位区域会产生大量的偏移。因此单纯的增加卷积神经网络的深度不仅不能有效的提升文本行级别文本检测的准确率，产生的梯度消失和模型无法收敛的问题使得模型的训练难度大大提升。

综上所述，现有的技术存在的问题是：

(1)现有的字幕检测模型中浅层卷积层的感受野较小无法直接获取目标语义信息，对图像中的目标区域不具有足够的敏感性。

(2)现有的字幕检测模型中的深层次特征由于经过了降采样操作后丢失了大量的空间特征信息，因此得到的最终定位区域会产生偏移，影响准确率。

发明内容

针对现有技术中的缺陷，本发明的目的在于提供一种用于视频字幕的文本行检测方法。解决了当前用于视频字幕的文本行检测网络存在的对图像中的目标区域不具有足够的敏感性以及最终定位区域会产生偏移的问题。

本发明提供了一种用于视频字幕的文本行检测方法，其特征在于包含以下步骤：

步骤1：制作文本图像数据集ReCTS，并将数据集分为训练集，验证集和测试集；所述 ReCTS数据集是在标准数据ICDAR2019上使用角点坐标进行扩展得到的；

步骤2：构建深度学习网络，该网络包括用于增强浅层特征中目标语义信息敏感性的正负双向残差注意力模块，以及增加深层特征空间信息的多尺度超融合结构；

步骤3：构建区域生成网络的整体损失函数：

步骤4：将经过预处理的图像-标签数据流以较小的批尺寸送入ResNet进行预训练，之后把特征送入构建好的网络进行训练，利用定义好的损失函数和优化器反向传播网络梯度，使用交叉验证方法检验网络性能，最终使网络收敛至最佳状态，并保存训练好的模型用于直接使用。

步骤5：根据模型预测出的目标坐标，把目标在图中用方框框出来并标注。

进一步地，所述步骤2中深度学习网络搭建如下：

首先在普通图像特征前向传播的主干分支的基础上新增两个软掩膜分支：正向软掩膜分支与反向软掩膜分支；再构建带有双向掩膜注意力机制模块：