[发明专利]一种基于光流场聚类的运动目标分割方法

说明书

技术领域

本发明与计算机图形学和图像理解有关，在摄像机运动的情况下，图像序列的背景非常复杂，这就为目标的检测与分割带来了挑战，本发明涉及一种解决这种复杂背景条件下运动目标的分割方法，利用光流场聚类实现对单目标和多目标的可靠检测。 

背景技术

运动目标检测一直是机器视觉、图像理解和计算机图形学领域非常重要的研究内容。在摄像机运动的条件下，尤其当场景非常复杂时，仅仅依靠单一的检测算法很难检测出完整的运动目标。对于多个运动目标的情况，运动目标的检测变得更为复杂. 

      在先方法 [1] （参见Thompson W. B, Pong T. C. Detecting moving object. Int. J. Comp. Vision, 1990, 4: 39~57）利用运动目标的光流方向与运动内极线约束确定的背景光流方向的差异来检测运动目标，但是在较为复杂的自然背景中，仅利用内极线约束很难获得完整的运动目标.

      在先方法[2]（参见Sasa G., Loncaric S. Spatio temporal image segmentation using optical flow and clustering algorithm. First Int’l workshop on image and signal processing and analysis, Pula, Croatia: 2000, 63~68）提出了一种利用光流场运动信息完成目标分割的方法，但是仅应用到简单背景和静止摄像机的情况下.

      在先方法 [3] （参见Adiv G.. Determining three Dimensional motion and structure from optical flow generated by several moving objects. IEEE Trans, 1985, PAMI-7(4):384-401）通过利用仿射变换的六个参数完成对多个运动目标的光流场的分割，但是，这种分割的计算花费是相当大的.

      不同于在先方法[1，2，3]，本发明在摄像机运动这种复杂的图像背景的情况下，提出一种基于光流场分割和Canny边缘检测算子的融合算法来完成运动目标的检测，这种方法包括光流场分割、Canny边缘提取以及分割图和边缘图融合等三个步骤，最后实现对单运动和多运动目标的完整检测。

发明内容

本发明建立一种基于光流场聚类的运动目标分割方法，这种方法可分为三步：第一步利用运动的内极线约束和C-均值聚类算法完成目标区域的分割，并获得分割图；第二步在分割图中利用Canny边缘算子获得细化的目标区域边缘图；第三步根据光流场中的流速值完成分割图和边缘图的融合，并检测出完整的运动目标. 

      本发明的基本原理如下:

      1、一种光流场的运动内极线约束. 考虑一个摄像机相对一个固定场景运动，并通过透视投影将景物成象到图像平面上。如果坐标系固定到摄像机上，那么可以认为场景是相对于摄像机运动的，景物的运动可以用图像平面的流速来描述，此时速度是物体表面投影到图像平面的像素坐标、摄像机相对于物体表面的运动和摄像机与物体表面距离的函数，由公式(1)描述

               (1)

          (2)

   (3)

式中，是在图像像素坐标处的流速，已被焦距归一化，是平移分量，其中是所对应的场景中的点的第三维坐标，而为旋转分量；和分别为摄相机的空间三维平移速度和旋转角速度.

    如果摄像机相对于场景只有平移运动而没有旋转运动，那么场景将产生一种独特的光流场形态，即场景投影到象平面上像素点的运动好像是从图像平面的一个固定点沿延伸直线产生出来，这一点为延伸焦点FOE( Focus Of Expansion). 这种由FOE所确定的光流场的运动形态称为运动的内极线约束. 从方程(1)可以得到FOE的位置

              (4)

可见延伸焦点的位置取决于平移的方向，而不是速度大小，因此，在场景中相对静止的图像像素处的光流方向可以根据摄像机运动的方向由运动内极线约束确定，即

                   (5)

当时，延伸焦点在图像坐标的远处，此时对应的光流场是平行的，而图像中光流与有很大差异的像素处对应着运动的目标区域，由此，可以检测出运动目标.