[发明专利]场景图像的检测方法及其装置

说明书

本申请提出了一种场景图像的检测方法及其装置，涉及图像处理领域。该方法包括获取携带至少一个文本实例的场景图像，并从场景图像中获取文本实例的文本区域特征；对每个文本区域特征进行文本间特征融合处理，获取每个文本区域特征对应的增强文本区域特征；基于增强文本区域特征进行掩模预测，获取增强文本区域特征对应的文本实例的文本轮廓。本申请提取了文本实例的完整文本区域特征，可以解决文本内部空隙造成的断裂而存在检测不准确的问题，并且文本区域特征进行文本间进行特征融合，提取到文本实例之间的相互依赖关系，从而生成鲁棒性更好的文本特征表示，以实现复杂背景下可靠的高精度文本检测。

技术领域

本申请涉及图像处理领域，尤其涉及一种场景图像的检测方法及其装置。

背景技术

对于给定的自然场景图像，对其进行文本区域的检测定位，可以帮助我们有效提取包含丰富语言信息的文本用于下游任务。相关技术中，当文本内部的字符存在大面积的空隙或极端的错位时，文本检测模型可能生成断裂的文本框。通过现有的端到端检测模型来检测图像中的所有文本实例，将每个文本视为单独的实例，没有建模实例之间存在的上下文依赖关系，会导致文本检测结果不准确。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的一个目的在于提出一种场景图像的检测方法。

本申请的第二个目的在于提出一种场景图像的检测装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种非瞬时计算机可读存储介质。

本申请的第五个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施例提出了一种场景图像的检测方法，包括：获取携带至少一个文本实例的场景图像，并从所述场景图像中获取所述文本实例的文本区域特征；对每个所述文本区域特征进行文本间特征融合处理，获取每个所述文本区域特征对应的增强文本区域特征；基于所述增强文本区域特征进行掩模预测，获取所述增强文本区域特征对应的所述文本实例的文本轮廓。

本申请中从场景图像中可以提取文本实例的文本区域特征，能够使得从场景图像上提取的特征中不仅包括字符的语义特征，还包括空隙的语义特征，即可以提取到文本实例的完整文本框，不再因为空隙的语义特征的缺失而出现文本框断裂的问题。进一步地，由于文本实例之间在背景、颜色、字体或者尺寸等方面存在依赖关系，本申请中通过文本实例的文本区域特征进行文本间的特征融合，能够提取到包括不同文本实例之间的相互依赖关系的增强文本区域特征，使其成为具有鲁棒性更好的文本特征表示，进而可以实现复杂不同复杂背景下可靠的高精度文本检测。

根据本申请的一个实施例，所述从所述场景图像中获取所述文本实例的文本区域特征，包括：对所述场景图像进行特征提取，获取所述场景图像的语义特征图；根据所述语义特征图，获取所述文本区域特征。

根据本申请的一个实施例，所述对所述场景图像进行特征提取，获取所述场景图像的语义特征图，包括：对所述场景图像进行多个尺度上的特征提取，获取尺度不同的多个所述语义特征图。

根据本申请的一个实施例，所述根据所述语义特征图，获取所述文本区域特征，包括：对所述语义特征图进行卷积处理，获取所述语义特征图对应的优化特征图；从所述优化特征图中提取所述文本实例的文本区域特征。

根据本申请的一个实施例，所述对所述语义特征图进行卷积处理，获取所述语义特征图对应的优化特征图，包括：将所述语义特征图输入对应的文本内协同学习网络中的卷积单元中进行卷积处理，以输出所述语义特征图对应的所述优化特征图，其中，所述卷积单元包括多个级联的卷积模块，每个所述卷积模块包括一个水平卷积层、竖直卷积层和标准卷积层。