[发明专利]一种基于语义分割的图像智能适配显示方法

说明书

本发明属于数字图像处理技术领域，具体为一种基于语义分割的图像智能适配显示方法。图像智能适配显示技术用于保护图像中的重要物体，使得图像放大或缩小时重要物体的尺寸变化尽量小。本发明依次包括以下步骤：使用线裁剪对图像进行分组；根据图像的能量图为每个分组分配比例因子；结合语义分割，重新分配比例因子，使得属于同一物体的像素比例因子接近，减少扭曲；根据比例因子进行像素融合。实验结果表明，放大或缩小图像时，本发明能够使得重要物体尺寸变化小，同时减少重要物体以及背景的畸变。

技术领域

本发明属于数字图像处理技术领域，具体涉及一种适配显示方法，更具体的说，涉及一种基于语义分割的图像智能适配显示方法。

背景技术

近年来，随着数字媒体与计算机的不断地发展，各种智能设备涌入人们的生活。图像作为一种包含丰富信息的常见交流媒介，需要适应不同分辨率、宽高比的屏幕。而传统的图像处理方法，比如均匀缩放、剪切将会引起图像失真或者丢失重要的信息。当图像在不同分辨率、宽高比的屏幕出现时，图像智能适配显示方法(Image Retargeting)可以调整图像，使得图像的显著区域发生较少的失真，在提升用户视觉体验方面发挥着越来越重要的作用。

适配显示方法主要可以分为两类：像素删除的方法(离散的方法)和像素融合的方法(连续的方法)；线裁剪(Seam Carving)^[1]是一种经典的像素删除的方法，它的主要思想是每次从一行或者一列中最多移除一个像素，减少图像失真，但是当图像缩小或放大比例很大时，图像会出现明显的失真，非常不自然。相比之下，像素融合的方法获得的图像更加自然、平滑。像素融合方法把原始图像中每个像素当成单位长度，融合时，使用比例因子为每个像素设定新的长度，通过线性加权的方式将各个像素融合成新的单位长度的像素。基于像素线搜索和像素融合的适配显示方法^[2]使用显著性检测结果^[3]作为能量图。用线裁剪的方法搜索像素线，按照搜索结果，将图片分为若干组，根据每组的能量，按比例为各组分配比例因子并矫正不合理的比例因子，最后使用像素融合达到了很好的适配显示效果。文献[2]使用能量图计算比例因子后，同一个组的像素有统一的比例因子，但是并不能保证经过重要物体的每个组的比例因子都相同，仍然会有一定的扭曲。如果能修正比例因子，使得同一物体比例因子接近，则可以减少扭曲。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于语义分割的图像智能适配显示方法，它主要针对图片中重要物体的保护，使图片大小发生变化时，重要物体尺寸不发生太大变化，其借助语义分割的结果，给重要物体和背景分别重新分配比例因子，达到减少扭曲的目的。

本发明提供的基于语义分割的图像智能适配显示方法，具体步骤如下：

(1)借助线裁剪将图像分成若干组

计算图像的梯度，在图像中找到一条穿过整幅图像且梯度总和最小的像素线，从图像中裁剪掉该像素线，将每次裁剪掉的像素线分为一组。具体的线裁剪方法参考文献[1]。根据缩放因子，重复上述过程，直到满足缩放因子的要求；剩余的像素按每行或每列分为一组。当图像水平方向适配显示时，一组像素的数量等于图像中一列像素的数量，线裁剪过程结束后，将剩余的像素每列分为一组；当图像竖直方向适配显示时，一组像素的数量等于图像中一行像素的数量，线裁剪过程结束后，将剩余的像素每行分为一组。

(2)计算能量图，分配比例因子

给定大小为H×W的图像，能量图由显著性检测结果和语义分割结果加权获得，能量图的计算公式如下：

E(x,y)＝αSD(x,y)+(1-α)SC(x,y) (1)