[发明专利]阴影检测方法和装置

说明书

技术领域

本发明涉及一种阴影检测方法与装置，更具体地涉及使用双目相机或者立体相机的彩色图/灰度图和深度图/视差图来检测和去除阴影的方法和装置。

背景技术

阴影是一种常见的自然现象，在普通相机拍摄到的彩色和灰度图像中非常常见，图1A和1B示意性地给出的由双目相机得到的灰度图像和深度图像中存在阴影的情形。阴影的存在给计算机图像处理带来了很多的困难和约束，尤其是在进行图像中的对象检测处理中，给对象检测的精度造成负面影响。例如，分割算法就易受阴影的影响而导致分割错误。此外对象的检测算法，对象的跟踪算法均会因为阴影的影响而导致误检和误跟踪。为此，视频和单帧图像中的阴影检测去除技术得到广泛关注。

最常见的阴影去除方法是基于彩色或者灰度图像进行的，诸如智能边界匹配，基于纹理的方法，基于颜色和纹理的方法等，这些方法受环境的背景复杂度影响很大，同时易受光照变化的干扰。

美国专利申请US2010830525提出了一种车载相机上的阴影去除方法。该方法辨识输入图像中的边缘，同时在一个光照不变的图像中辨识边缘，通过判定边缘是否在两个图像中的存在状况来判断是否有阴影的存在。该专利申请提出的方法主要是基于边缘检测技术，同时使用输入图像和光照不变的图像，通过检测到的边缘的差异情况，判定阴影的有无。该专利申请必须得到一个光照不变的图像，阴影的去除受制于该光照不变图像的获取和该光照不变图像的质量。

美国专利US7133083B2提出了一种动态的阴影去除方法，其使用多个摄像机和投影仪，计算相机、投影仪和屏幕的关系，然后计算投影图像和摄像机捕获到图像的差异情况来判断是否有阴影。该专利提出的方法，要使用多个摄像机和投影仪，还需要建立摄像机、投影仪及屏幕的空间对应关系。其核心是通过投影的内容来建立一个预测图像，然道比较预测图像和真实捕获的图像的差异，根据差异再判定是否有阴影。该专利必须事先知道显示的内容，同时其应用场景非常有限，仅适合投影展示系统中的阴影的检测。

Brown大学的Yong Zhao的博士论文“基于立体视觉的人的检测、跟踪和识别”中提出了一种基于深度图像的背景建模的方法来去除阴影的方法。该方法使用了两个背景建模，一个是基于深度图像的深度背景模型，另一个是基于RGB/灰度图像的表观背景模型。首先，其根据表观背景模型来检测出表观前景，该表观前景中可能会包含阴影。其次，判定表观前景是否同深度背景模型有重合，有的话，则说明该重合部分是阴影。其基本思想是阴影不会改变背景的深度。该方法太过依赖于两个背景模型的质量，通常的双目相机很难保证得到稠密的深度背景模型，为此，该方法将失效。

发明内容

通常情况下，在真实的3维坐标系中，物体是一个3维物体(例如，人、车、动物等)，而阴影其多为物体的投影，例如投影到地面、墙面、桌面等。为此，多数的阴影在3维空间中是符合面特性的。为此，本发明提出了一种基于阴影在3维空间中的面特性来检测阴影的方法。

根据本发明的一个方面，提出了一种阴影检测的方法，包括：从双目或者立体相机中获取深度/视差图像和彩色/灰度图像；检测并分割出前景点；将所分割出的前景点投影到三维坐标系；在三维坐标系中，通过对前景点进行聚类而将前景点分割成不同的点云；通过主成分分析法来计算每个点云的密度分布状况，从而获得主成分分量值；以及基于所述主成分分量值，判断点云是否为阴影。

根据本发明的阴影检测的方法，所述基于所述主成分分量值判断点云是否为阴影步骤包括：如果对于一个点云，其存在一个主成分分量值接近零，则该点云为阴影。

根据本发明的阴影检测的方法，其中所述检测并分割出前景点包括：通过彩色/灰度图像或者是深度/视差图像进行背景建模；根据背景模型，提取出前景点。

根据本发明的阴影检测的方法，所述将所分割出的前景点投影到三维坐标系的步骤包括根据双目/立体相机的图像坐标系和摄像机坐标系的关系，将提取出的前景点映射到摄像机坐标系中。

根据本发明的阴影检测的方法，其中所述通过对前景点进行聚类而将前景点分割成不同的点云是通过KNN聚类法或K均值法对前景点的三维坐标信息进行聚类实现的。