[发明专利]海量网络文本与非文本图像分类方法

摘要

本发明公开了一种海量网络文本与非文本图像分类方法，首先构建多尺度空间划分网络，然后对训练图像集中的图像，获取图像的多尺度图像块标签信息，并根据构建的多尺度空间划分网络，利用标注好的训练数据集训练多尺度空间划分网络的网络参数，然后利用构建的多尺度空间划分网络以及训练得到的网络参数，对待测试的大规模网络图像进行分类，最终获取图像的分类结果，对图像是否为文本图像做出判决，并获取文本区域在图像中的大致位置。本发明方法文本与非文本图像分类准确率高，且有很高的分类效率。

主权项

1.一种海量网络文本与非文本图像分类方法，其特征在于，所述方法包含下述步骤：(1)多尺度空间划分网络构建，包括：(1.1)定义多层次特征图生成子网络网络结构；(1.2)定义多尺度图像块特征生成子网络网络结构；(1.3)定义文本与非文本图像块分类子网络网络结构；(1.4)构建多尺度空间划分网络；其中对于(1.1)定义多层次特征图生成子网络网络结构，该(1.1)定义多层次特征图生成子网络网络结构的过程具体为：(1.1.1)定义图像特征提取网络结构：所述的图像特征提取网络结构包括五个卷积阶段，其中第一个和第二个卷积阶段的网络结构均为两个卷积层和一个最大池化层，最后三个卷积阶段的网络结构均为三个卷积层和一个最大池化层，对输入图像I，经过该图像特征提取网络得到各个卷积阶段的输出特征图，记为其中表示第s个卷积阶段的输出的特征图序列，M_s,m表示第m个特征图，MNum_s为预设的第s个卷积阶段输出特征图的个数；(1.1.2)定义多层次特征图生成子网络网络结构：对步骤(1.1.1)中所述的图像特征提取网络的后三个卷积阶段之后分别接一个反卷积层，将这三个卷积阶段的输出中的所有特征图的尺度全部缩放到Wm×Hm大小，所得尺度缩放后的特征图序列记为其中Wm和Hm分别表示预设的特征图尺度缩放后特征图宽度和高度，表示第s个卷积阶段的输出特征图序列FM_s中的每个特征图经过尺度缩放后得到的特征图序列，M′_s,m表示FM_s中第m个特征图经过尺度缩放后得到的特征图；之后将FMS′中的所有特征图进行堆叠，得到多层次特征图，记为其中M″_c表示图像的多层次特征图的第c个特征图，MNum＝MNum₃+MNum₄+MNum₅，且表示多层次特征图中特征图个数；对于(1.2)定义多尺度图像块特征生成子网络网络结构，该(1.2)定义多尺度图像块特征生成子网络网络结构的过程具体为：(1.2.1)单一尺度图像块空间划分：对步骤(1.1)所述的多层次特征图生成子网络得到的图像多层次特征图F，将多层次特征图划分为尺度为的图像块，划分方法表示为：将多层次特征图划分为SP＝sp×sp个图像块，对于划分的一个图像块F^ij，在输入图像I中对应的图像块I^ij计算方法为：其中F^ij表示将多层次特征图进行图像块划分后在第i列、第j行的图像块，x和y分别表示像素点在图像块中的横坐标和纵坐标，Wm和Hm分别表示多层次特征图的宽度和高度，W和H分别表示输入图像I的宽度和高度，sp为预设的图像块划分尺度；(1.2.2)多尺度图像块空间划分：预设多个不同的图像块划分尺度，记为对其中的每个划分尺度sp_k，按照步骤(1.2.1)所述的方法，对多层次特征图F进行图像块空间划分，得到SP_k＝sp_k×sp_k个图像块，通过多尺度图像块空间划分，得到的所有图像块序列为PS，且其中Patch_n表示第n个图像块，且表示图像块总数；(1.2.3)多尺度图像块特征提取：对步骤(1.2.2)中对多层次特征图F进行多尺度图像块空间划分得到的图像块序列PS中的每一个图像块Patch，将图像块按行和列分别分割为Nsp份，则每个图像块Patch分割为SPNum＝Nsp×Nsp个子图像块，记为其中SubP_nsp表示第nsp个子图像块，然后利用一个最大池化层将每个子图像块转换为该子图像块对应的特征向量，则得到每个图像块Patch对应的子图像块特征向量序列，记为其中SubV_nsp表示第nsp个子图像块对应的特征向量，特征向量长度即为所述步骤(1.1.2)中所得的多层次特征图中特征图个数MNum，将图像块中所有子图像块对应的特征向量进行拼接，得到图像块对应的特征向量，记为V＝[SubV₁,...,SubV_SPNum]，则图像块特征向量长度为MNum×SPNum，对多尺度图像块空间划分得到的每一个图像块按上述方法提取图像块的特征向量，得到所有图像块的特征向量集合，记为其中V_n表示第n个图像块对应的特征向量；(2)多尺度空间划分网络训练，包括：(2.1)对训练图像集中的每一张图像，获取多尺度图像块标签信息；(2.2)根据所述多尺度图像块标签信息训练得到多尺度空间划分网络的参数；(3)文本与非文本图像分类：根据多尺度空间划分网络的参数，利用所述多尺度空间划分网络对待识别文本或者非文本图像进行分类。