[发明专利]一种基于自适应形态学操作的屏幕图像分割方法

说明书

技术领域：

本发明属于图像处理技术领域，涉及一种屏幕图像分割方法，特别涉及一种基于形态学操作的屏幕图像分割方法。

背景技术：

随着多媒体终端技术及云计算技术的快速发展，屏幕图像作为一种新型的图像类型，越来越多地应用在多媒体交互系统中，如视频会议、远程教学、远程桌面连接、虚拟云桌面等等。屏幕图像一般由计算机软件生成且通过屏幕截图工具获得，其内容具有多样性，通常由文字、动画或自然图像混合组成。由于屏幕图像处理的便捷性和跨平台性，且可根据各终端设备的资源情况灵活变化，此类图像已成为新一代云计算框架中着重采用的表示方式。针对屏幕共享的实时性要求，如何快速有效地对屏幕图像进行编码和传输是现如今亟待解决的一个关键问题。当前对屏幕图像进行压缩最快速有效的方式是基于图像分割的方法，即把屏幕图像分割为两类区域(文字区域和图像区域)，对图像区域使用现有的编码方式(如PNG、JPEG、JPEG2000等)，对文字区域则设计专门技术进行编码。因此，屏幕图像分割作为屏幕图像编码的关键前序步骤，对屏幕图像编码效率具有重大的影响。

目前针对屏幕图像分割技术的研究已经引起重视，但是自适应地完美分割各种屏幕图像是一个很困难的工作，主要原因有以下几点:1)屏幕图像中各类内容的组合布局方式是多种多样的；2)文字密集，且文字的形态、尺度及方向具有较大的差异性；3)文字区域的背景色彩及纹理对该区域的检测具有较强的干扰效果；4)图像区域中有较多类似文字的组成部分，增加了分割的困难性。因此，如何提取有效鉴别文字及图像区域的特征，并实现对尺度和方向自适应的文字检测，是完成屏幕图像分割的关键及难点所在。

为了增强文字区域与图像区域的特征差异，文字连接元的方法被广泛使用，即把相邻的具有相同特征的文字连接起来形成一个连接元，进而获得更多更强的文字区域特性。但现有的连接元构造方法不具备自适应性，往往只是采用固定的几个尺度进行连接，容易造成文字过连接(即把两个不同区域的文字连接在一起或者把文字与周围图像区域进行连接)或欠连接(同一区域符合连接特征的文字没有被连接起来)的现象，降低文字区域检测的准确度；此外，现有的连接元构造方法一般只是在水平或者竖直方向上进行连接，如此具有较大倾斜角度的文字则很难被正确分割。因此，设计一种基于形态学操作的屏幕图像分割方法，该方法能够自适应地确定连接核的大小与方向，有效克服了上述屏幕图像分割方法存在的缺陷。

发明内容：

本发明的目的在于克服现有技术存在的缺陷，设计提供一种基于自适应形态学操作的屏幕图像分割方法，能够准确地从屏幕图像中分割出文字区域和图像区域，该方法采用形态学里的闭合操作，并根据图像中文字的尺度和方向特性自适应地确定连接核(即闭合算子)的大小与方向，从而获得与尺度/方向无关的所有潜在连接元，形成的文字连接元与图像连接元具有显著的差异：1)文字连接元形状相对比较规则(类四边形)，图像连接元的形状则是千变万化的；2)文字连接元对应的区域内，颜色数量有限且变化是非连续的，而图像连接元内的颜色多样且变化通常是连续的。利用这些差异，能够简单筛查出图像连接元，进而确定文字连接元的精确数量和位置，最终实现屏幕图像的分割。

为了实现上述目的，本发明涉及的基于自适应形态学操作的屏幕图像分割方法的具体工艺步骤如下：

a.获取待分割屏幕图像，对其进行灰度化处理；

b.计算灰度图像的局部活跃度矩阵，并根据此矩阵对图像进行局部阈值自适应的二值化，去除局部活跃度较低的图像部分，以降低后续闭合处理的复杂度；

c.对步骤b中得到的图像，采用尺度为3*3的最小连接核进行闭合操作，用以得到一个包含n个独立小连接元的集合C＝{c₁，c₂，...，c_n}；

d.从c₁出发，根据文字区域的先验知识，从C中寻找所有应与c₁相连接的近邻连接元，形成一个小的集合C¹，再把C¹中的元素从C中删除，最后更新C中元素的下标；

e.针对集合C¹中的各小连接元，计算其方向性平均距离L¹，并估计各小连接元的分布方向θ¹，从而构造出一个局部自适应的连接核，该连接核的尺度为L¹，连接方向为θ¹，并应用该连接核对C¹中的小连接元进行闭合操作；