[发明专利]一种基于语义分割的图像智能适配显示方法

摘要

本发明属于数字图像处理技术领域，具体为一种基于语义分割的图像智能适配显示方法。图像智能适配显示技术用于保护图像中的重要物体，使得图像放大或缩小时重要物体的尺寸变化尽量小。本发明依次包括以下步骤：使用线裁剪对图像进行分组；根据图像的能量图为每个分组分配比例因子；结合语义分割，重新分配比例因子，使得属于同一物体的像素比例因子接近，减少扭曲；根据比例因子进行像素融合。实验结果表明，放大或缩小图像时，本发明能够使得重要物体尺寸变化小，同时减少重要物体以及背景的畸变。

主权项

1.一种基于语义分割的图像智能适配显示方法，其特征在于，具体步骤如下：(1)借助线裁剪将图像分成若干组计算图像的梯度，在图像中找到一条穿过整幅图像且梯度总和最小的像素线，从图像中裁剪掉该像素线，将每次裁剪掉的像素线分为一组；根据缩放因子，重复上述过程，直到满足缩放因子的要求；剩余的像素按每行或每列分为一组：当图像水平方向适配显示时，一组像素的数量等于图像中一列像素的数量，线裁剪过程结束后，将剩余的像素每列分为一组；当图像竖直方向适配显示时，一组像素的数量等于图像中一行像素的数量，线裁剪过程结束后，将剩余的像素每行分为一组；(2)计算能量图，分配比例因子给定大小为H×W的图像，能量图由显著性检测结果和语义分割结果加权获得，能量图的计算公式如下：E(x,y)＝αSD(x,y)+(1‑α)SC(x,y)  (1)其中，1≤x≤H，1≤y≤W，0≤α≤1，0≤SD(x,y)≤1，0≤SC(x,y)≤1，0≤E(x,y)≤1，SD(x,y)表示图像中第x行y列像素的显著性检测结果，越大说明该像素对人的视觉影响越大；SC(x,y)表示第x行y列像素的得分，由语义分割的得分图处理获得，越大说明该像素不是背景的可能性越大；α用于平衡SD(x,y)和SC(x,y)对能量图E(x,y)的贡献；能量图中的值越大，说明对应像素越重要；根据缩放因子和能量图E(x,y)，为每组像素分配比例因子：计算每组像素能量的平均值，对于能量较高的组，分配较大的比例因子；比例因子S(x,y)表示第x行y列像素在像素融合中的贡献度；(3)重新分配比例因子对于水平方向的适配显示，重新分配图像中物体的比例因子：计算各组所包含的第l类像素的个数其中表示第k组包含的第l类像素的个数；根据第l类的阈值T^l，给的组重新分配比例因子：其中，当1[·]的方括号中内容为真时，它的值为1，否则为0；CO(i,j)表示第j组第i个像素所在的列；用同样的方法处理图像中的其他物体的类，直至图像中所有的物体的类处理完成；若图像中包含同一类多个物体且物体间不相邻，选择把不相邻的同一类的多个物体当成多个类处理，防止一个物体的比例因子被均衡到另一个物体；重新分配图像中背景的比例因子：计算各组包含的背景像素的个数其中表示第k组包含的背景像素的个数；将降序排列为σ是{1,…,W}→{1,,W}的双射函数，使得设置阈值β∈[0,1]，重新分配比例因子：(4)像素融合获得重新分配的比例因子后，通过像素融合的方式获得目标图像的适配显示；对于水平方向适配显示，假设原始图像中每个像素宽度为1；比例因子为每个像素设定新的宽度，通过线性加权的方式将各个像素融合成新的宽度为1的像素，最终构成特定大小的图像；对于垂直方向适配显示，作类似处理。