[发明专利]用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备

说明书

方法包含以下步骤：对于在前面的图像(1)的后面的每个图像(2)连续地，‑基于与从所述前面的图像(1)向所述后面的图像(2)的运动相对应的运动矢量的图，建立所述后面的图像(2)的像素掩模，‑将所述像素掩模应用于对应的后面的图像(2)，以便获得对所述后面的图像(2)的像素进行采样的对应的掩蔽图像。将该方法应用于色彩聚类允许利用有限的计算机资源迭代地更新色彩集群。

技术领域

本发明涉及对视频序列的图像的色彩进行聚类，并且特别涉及对色彩的特定的在先采样。

背景技术

对色彩进行聚类需要高计算资源。为了降低对计算资源的需求，一般在聚类之前对色彩进行采样。这种采样的目的是减少必须被考虑用于进行聚类的每个图像中的像素的数量。例如，可以按照100的因数对图像的像素进行采样。这意味着只有被采样的像素才被用于对色彩进行聚类：例如，考虑每个图像的像素的1/100。优选在不进行任何滤波处理的情况下执行采样，以便不引入伪色彩，并且事实上，考虑未采样色彩用于随后的色彩聚类。为此，应当谨慎地确定二次采样率，以在计算复杂度和精确度之间达到公平的平衡。作为这样的采样的示例，如果将视频内容的图像格式化为1920x1080的HDTV(亦即，每个具有大约两百万个像素)，则可以按照因数100对每个图像进行采样，以取得100个格式为192x108(亦即，每个具有大约20,000像素)的子图像。对于10行中的每行，在10个像素中取一个像素。

对于被采样或未采样色彩的聚类本身，关键要素是基于相似性将这些色彩组织成有意义的集群。在标题为“Data clustering:A review”(在1999年9月公开于ACMComputing Surveys，31(3)，页264–323)的文章中，提议了宽泛的范围的集群形成技术。根据该回顾，存在两种类型的聚类算法，亦即，分层算法和分区算法。分区聚类算法在涉及大数据集的应用中具有胜过分层方法的优点。分区技术通常通过优化准则函数来生成集群。在分区聚类技术中最直观并被频繁使用的准则函数是均方误差准则。K-means是利用均方误差准则的最简单且最常用的算法。其以随机初始分区开始，并且基于模式和集群中心之间的相似性保持向集群重新分配模式，直至满足收敛准则为止。k-means算法很流行，因为其容易实现，并且它的时间复杂度是O(n)，其中n是模式的数量。

在标题为“Fast Video Object Segmentation Using Affine Motion AndGradient-Based Color Clustering”(公开于1998年的IEEE Second Workshop onMultimedia Signal Processing(Cat.No.98EX175)的页486-91)的文章中，作者Ju GuoJongwon Kim Kuo等公开一种基于非参数梯度的迭代色彩聚类算法(被称为均值移位算法)，该算法根据色彩相似性提供稳健的初始主色彩。根据这种使用从先前的帧获得的主色彩信息作为接下来的帧的初始种子的色彩聚类方法，可以将计算时间的量减少50％。

发明内容

本发明的目的是进一步减少视频序列的色彩聚类所需的计算时间。

为此目的，本发明的主题是一种建立视频序列中的前面的图像的后面的图像的像素掩模的方法，该方法包含以下步骤：

-建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；

-通过将所述运动矢量的图应用于所述前面的图像，产生关于所述后面的图像的对所述前面的图像进行运动补偿的补偿图像；以及

-根据所述补偿图像和所述前面的图像之间的逐像素的差异，建立所述后面的图像的像素掩模。

作为变型，本发明的主题还是一种建立视频序列中的前面的图像的后面的图像的像素掩模的方法，该方法包含以下步骤：

-建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；以及