[发明专利]一种基于多尺度全局特征和局部特征的图像分类方法

摘要

本发明公开了一种基于多尺度全局特征和局部特征的图像分类方法，该方法利用图像中的文本信息，提取有效显著区域并计算显著区域中的颜色特征和空间分布特征，利用小波图像金字塔得到多尺度全局特征，利用四分树算法得到局部特征；最终结合多尺度全局特征和局部特征对图像进行分类，该方法的分类正确率可以到达88％。通过分别对分类前后的图像进行文本检测和识别的对比实验发现，图像分类能够有效提高图像中文本信息的检测与识别。

主权项

一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，包括以下步骤：将待分类图像数据库中的每张原始图像I作为输入，执行步骤1～步骤11：步骤1：利用小波图像金字塔算法输入原始图像I，输出五种不同尺度的图像，每种尺度的图像作为下一步的输入图像，执行步骤2～步骤9，五种不同尺度的图像处理完毕后执行步骤10；步骤2：计算输入图像的灰度图像，其中输入图像属于RGB颜色空间，每个像素由红，绿，蓝三个颜色值决定，每种颜色取值范围0～255，计算后的灰度图像每个像素由一个灰度值决定，灰度值取值范围0～255；步骤3：计算灰度图像的Canny边缘图像和Sobel边缘图像，其中，Canny边缘图像和Sobel边缘图像都属于二值图像，每个像素取值0或1；步骤4：分别计算Canny边缘图像的特征向量场和Sobel边缘图像的特征向量场，计算得到的特征向量场在每个像素处，其值为一个向量，表示该像素处场值的大小和方向；步骤5：分别计算Canny特征向量场的显著区域和Sobel特征向量场的显著区域，其中，显著区域表现为二值图像，像素值为0表示该像素不属于显著区域，像素值为1表示该像素属于显著区域；步骤6：计算Canny显著区域和Sobel显著区域的交集，得到这两种显著区域的重合区域，过滤后作为最终显著区域；步骤7：提取最终显著区域的空间分布特征；步骤8：根据最终显著区域，保留其对应位置处输入图像的像素值，提取这些像素值的颜色特征，颜色特征包括RGB颜色特征，HSV颜色特征和灰度颜色特征，RGB颜色指红色Red，绿色Green和蓝色Blue首字母缩写，HSV颜色指色调Hue，饱和度Saturation和亮度Value首字母缩写；步骤9：合并步骤7得到的空间分布特征和步骤8得到的颜色特征，得到原始图像的全局特征；步骤10：将原始图像I用四分树算法四等分为四个区域，每一个区域作为输入图像，执行步骤2～步骤8，得到输入图像的空间分布特征和颜色特征，合并空间分布特征和颜色特征，得到原始图像的局部特征；步骤11：整合步骤9和步骤10得到的原始图像的全局特征和局部特征，作为图像的分类特征；步骤12：选择逻辑回归分类器，对待分类图像数据库中的图像进行分类；步骤4中，定义能量函数ε，通过最小化能量函数ε计算Canny边缘图像的特征向量场gCanny：ϵ=∫∫α·(ux2+uy2+vx2+vy2)+(1-α)|▿fCanny|2|gCanny-▿fCanny|2dxdy,]]>其中，ε表示能量函数的值，(x,y)表示像素坐标，fCanny(x,y)表示Canny边缘图像，表示Canny边缘图像的梯度，gCanny＝(u(x,y),v(x,y))，u(x,y)和v(x,y)分别是像素坐标(x,y)处特征向量场第一分量和第二分量的值，ux表示第一分量u(x,y)对像素坐标x的偏导数，uy表示第一分量u(x,y)对像素坐标y的偏导数，vx表示第二分量v(x,y)对像素坐标x的偏导数，vy表示第二分量v(x,y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值根据图像中的噪声数量设置；定义能量函数ξ，通过最小化能量函数ξ计算Sobel边缘图像的特征向量场gSobel：ξ=∫∫α·(ux2+uy2+vx2+vy2)+(1-α)|▿fSobel|2|gSobel-▿fSobel|2dxdy,]]>其中，ξ表示能量函数的值，(x,y)表示像素坐标，fsobel(x,y)表示Sobel边缘图像，表示边缘图像的梯度，gsobel＝(u(x,y),v(x,y))，表示待计算的Sobel边缘图像特征向量场，u(x,y)和v(x,y)分别是像素坐标(x,y)处特征向量场第一分量和第二分量值，ux表示第一分量u(x,y)对像素坐标x的偏导数，uy表示第一分量u(x,y)对像素坐标y的偏导数，vx表示第二分量v(x,y)对像素坐标x的偏导数，vy表示第二分量v(x,y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值根据图像中的噪声数量设置；步骤5中，如果像素P属于显著区域，其坐标为(x,y)，当且仅当以下四个不等式至少有一个成立，则判定像素P属于显著区域：g(x,y)·g(x+1,y)<θ，g(x,y)·g(x‑1,y)<θ，g(x,y)·g(x,y+1)<θ，g(x,y)·g(x,y‑1)<θ，其中，g(x,y)表示像素坐标(x,y)处的特征向量，g(x‑1,y)表示像素坐标(x‑1,y)处的特征向量，g(x,y+1)表示像素坐标(x,y+1)处的特征向量，g(x,y‑1)表示像素坐标(x,y‑1)处的特征向量，g(x,y)·g(x+1,y)表示特征向量g(x,y)与特征向量g(x+1,y)的点积，θ＝π/4，表示一个阈值；步骤6中，使用C＝{cm}表示计算得到的Canny显著区域，每个元素cm表示一个连通分量，1≤m≤NC，NC表示Canny显著区域中连通分量的总数；S＝{sn}表示Sobel显著区域，每个元素sn表示一个连通分量，1≤n≤Ns，Ns表示Sobel显著区域中连通分量的总数；对两种连通分量过滤，保留每个连通分量中包含像素点个数大于阈值ρ的连通分量，其中ρ＝10，即所保留的连通分量必须满足以下条件：|cm|≥ρ，|sn|≥ρ，其中，|cm|表示连通分量cm包含像素点个数，|sn|表示连通分量sn包含像素点个数；经过首次过滤，得到Canny显著区域C′和Sobel显著区域S′，计算这两种显著区域的交集，表示为C′∩S′，像素P∈C′∩S′，当且仅当P∈C′且P∈S′，然后对交集C′∩S′中的连通分量再次过滤，保留交集中连通分量包含的像素点个数大于ρ的连通分量作为最终显著区域，其中ρ＝10；步骤7中，计算最终显著区域中的四种顶点，这四种顶点分别是单支顶点，普通顶点、三路交叉点和十字交叉点，CONP表示像素P所在的连通区域，ADJP表示像素P的邻接像素，根据连通区域CONP与邻接像素ADJP求交后所包含像素点的数目判定像素P的类型：利用动态规划算法计算单支顶点间的测地距离，像素点Pk和Ph是两个单支顶点，则像素点Pk和Ph之间的测地距离EPk,h可表示为：EPk,h＝NGD(Pk,Ph)，其中，NGD(Pk,Ph)表示单支顶点Pk与Ph之间的测地距离，1≤k,h≤Nend，Nend表示单支顶点的个数；计算单支顶点之间测地距离均值和方差：MeanEP=1NendΣk=1NendΣh=1kEPk,h,]]>VarEP=1NendΣk=1NendΣh=1k(EPk,h-MeanEP)2,]]>其中，MeanEP表示单支顶点之间测地距离的均值，VarEP表示单支顶点之间测地距离的方差；利用动态规划算法首先计算普通顶点之间的测地距离，然后计算普通顶点之间测地距离的均值和方差；利用动态规划算法首先计算三路交叉点之间的测地距离，然后计算三路交叉点之间测地距离的均值和方差；利用动态规划算法首先计算十字交叉点之间的测地距离，然后计算十字交叉点之间测地距离的均值和方差；最终得到8个特征作为最终显著区域的空间分布特征，分别是单支顶点之间测地距离的均值和方差，普通顶点之间测地距离的均值和方差，三路交叉点之间测地距离的均值和方差，十字交叉点之间测地距离的均值和方差；步骤8中，根据最终显著区域对应的输入图像位置，得到对应位置处的RGB颜色值，统计RGB每个颜色通道值的分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到30维的RGB特征；将RGB颜色空间转换为HSV颜色空间，得到对应位置处的HSV颜色值，统计HSV每个通道值得分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到30维的HSV特征；将RGB颜色空间转换为灰度空间，得到对应位置处的灰度颜色值，将灰度值的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到10维灰度特征，最终得到90维颜色特征。