[发明专利]生成超像素的方法及装置

说明书

技术领域

本发明涉及一种用于生成超像素(superpixel)的方法及装置，更具体地涉及一种用于生成在空间上和时间上稳定的超像素的方法及装置。 

背景技术

如今有创建并向消费者传递更丰富的媒体体验的趋势。为了超出基于采样(视频)或者基于模型(CGI)的方法的能力，对于数字媒体需要新颖的表示。一种这样的媒体表示是SCENE媒体表示(http://3d-scene.eu)。因此，需要针对生成这样的媒体表示开发工具，提供对与CGI无缝结合的3D视频的捕获。 

SCENE媒体表示将允许通过增强多维媒体制作的全产业链以线性或交互形式操纵并将SCENE媒体传递给2D或3D平台。特别关注时空一致的场景表示。该方案还评估对SCENE表示架构(SRA)进行标准化的可能性。 

用于建立SCENE媒体表示的基础工具是对视频的过分割部署。例如，参见R.Achanta等人的《SLIC Superpixels Compared to State-of-the-Art Superpixel Methods》(IEEE Transactions on Pattern Analysis and Machine Intelligence，第43卷(2012)，第2274-2282页)。所生成的片段(也被称为超像素或者补片)有助于生成表示更高抽象层的元数据，其超出纯粹的对象检测。随后应用于所生成的超像素的处理步骤允许描述视频场景中的对象，并且因此链接到基于模型的CGI表示。 

所需的过分割的新的方面是时空一致分割。已知的关于时空一致过分割的方法基于图形切割方法，其具有开销大且耗时的缺点。例如，参见Z.Tian等人的《3D Spatio-temporal Graph Cuts for Video Objects Segmentation》(Proceedings of the International Conference on Image Processing(ICIP)(2011)，第2393-2396页)。关于过分割算法的更新的研究指出由R.Achanta等人描述的SLIC(Simple Linear Iterative Clustering，简单线性迭代聚类)算法作为开始的最适当的候选。其将可靠的分割结果的优点与其可以实时应用 的能力结合起来。因为SLIC方法最初是针对单个图像处理开发的，所以需要进一步的适配工作来处理电影中的图像序列，其中，时空一致的超像素表示是必需的。 

一种已知的解决方案是通过SLIC方法使用帧间运动信息来提供时空一致的超像素。代替将SLIC算法的种子点永久性地定位于整个图像序列上的相同位置处，运动信息的应用允许沿着逐帧估计的运动轨迹定位的种子点。这在欧洲专利申请EP 13171832.2中进行了描述。应用该播种(seeding)策略生成跟随光流的超像素，并且因此允许对场景中的可能包含一个或多个超像素的移动对象进行跟踪。优点是电影中的对象恒定地分配给唯一的超像素，从而使跟踪非常简单。 

发明内容

因此，本发明的目的是提出一种用于生成在空间上和时间上稳定的超像素的方法。 

根据本发明，一种用于生成图像序列的超像素的方法包含： 

-将图像序列的图像分割成初始超像素集合； 

-确定所述图像序列中的静态和非静态区域； 

-生成所述图像序列的非静态区域的更新的超像素；以及 

-维持属于所述图像序列的静态区域的初始超像素集合的那些超像素。 

相应地，一种被配置为生成图像序列的超像素的装置，该装置包含： 

-运动分析器，被配置为确定图像序列中的静态和非静态区域；以及 

-分割器，被配置为将图像序列的图像分割成初始超像素集合，生成图像序列的非静态区域的更新的超像素，并且维持属于图像序列的静态区域的初始超像素集合的那些超像素。 

类似地，一种计算机可读取存储介质在其中存储使得能够生成图像序列的超像素的指令，这些指令在被计算机执行时使计算机： 

-将图像序列的图像分割成初始超像素集合； 

-确定所述图像序列中的静态和非静态区域； 

-生成所述图像序列的非静态区域的更新的超像素；以及 

-维持属于所述图像序列的静态区域的初始超像素集合的那些超像素。