[发明专利]多角度图像对象融合方法及系统

说明书

技术领域

本发明涉及一种图像处理，更具体而言，涉及一种对多个深度照相机所拍摄的图像进行对象融合的方法和装置。

背景技术

深度摄像机或照相机，通常也称之为双目摄像机，用于对所拍摄图像中的图像进行检测和定位。比如，Michael Harville在2003年发表的文章“Stereo Person Tracking with Adaptive Plan-View Templates of Height and Occupancy Statistics”中阐述了如何使用双目摄像机进行人的检测和定位的方法。但是，采用单一深度摄像机对图像中的对象定位，存在视角受限而且检测率不够高的问题，如果考虑多台摄像机的结果，就可以增大覆盖区域，更重要的是，可以改善检测精度比较差的问题。但是如何使用多个深度摄像机对图像中的对象进行定位的研究还很少提及。

当存在多个深度摄像机时，如何对不同深度摄像机所产生的检测结果进行融合是一个常见问题。目前，也已经提出了一些对图像检测结果进行融合方法。美国专利US7929017提出了一种图像融合方法或系统。该系统融合普通摄像机、立体摄像机跟踪、RFID和定位系统的结果。该融合方法采用时空约束融合不同传感器的结果，将不同质的传感器信息转化到共同的坐标系统内，具体考虑了位置和距离信息。考虑到不同传感器带来的噪声，该方法在融合时需要考虑不同传感器的噪声和不确定性，且该融合方法基于时空约束，属于一种跟踪策略，比如卡尔曼滤波。

美国专利US20060279630提出了一种跟踪系统，使用一组立体摄像机组成的网络进行检测，跟踪并可视化一个拥挤的环境。在该系统中，一个监控系统以实时立体的模型监控整个区域，动态选择从各个方向采集的多视频流。当一个人在某个摄像机视野内移动时，系统检测他的运动并跟踪其轨迹，当他走出摄像机视野时移交给下一个相应的摄像机。该跟踪系统包括一个跟踪地图浏览器，能显示所有移动的对象以及最近的历史信息。该跟踪方法所融合的是单个相机中的同一个对象，但是没有表述如何判断是同一个对象的规则，且该方法的跟踪视图只用于可视化。

美国专利US5963653提出一种层次化的对象识别分类方法，使用多传感器源得到的特征属性。该专利的系统从至少两个传感器源提取特征属性，使用层次化的特征属性来进行融合，该融合方法决定对象一致性并在将检测对象分为某一类时确保有足够的可信度。该方法提取单个传感器的特征来识别目标对象但单个传感器不能识别出对象，并且该方法中的层次化信息融合是一个基于特征的分类器而本发明使用的是置信度。

而对多个深度摄像机的检测结果进行融合，所采用的融合方法需要考虑检测结果的数据源的特性。这些数据源的特性包含影响定位精度的各种因素，例如，被检测对象和摄像机的距离，被检测对象之间的相互遮挡以及根据历史统计信息给出的概率值等，考虑的各种因素越全面，通常对检测结果融合的效果越好。因此，在图像的检测结果融合方面，人们希望提出一种尽可能全面考虑影响融合效果的因素的融合方法和系统。。

发明内容

为此，本发明提供了一种能提高融合效果的融合方法和系统，该方法和系统能够提高融合后的定位精度。

根据本发明的一个方面，提供了一种一种多角度图像的对象融合方法，包括：将多个深度摄像机的位置以及被拍摄场景的位置统一到同一个坐标系中；采用所述多个深度摄像机从多个角度同时拍摄被拍摄场景的图像，分别检测和定位该同一时刻该被拍摄场景内的所有被检测对象，以获取对应深度摄像机的被检测对象的列表；读取该被拍摄场景的被检测对象的历史密度图；针对每个深度摄像机，根据该深度摄像机相对所获得的被检测对象的空间位置关系以及该被拍摄场景的被检测对象基于所述历史密度图的历史密度指数，计算所获得的被检测对象的置信度；以及使用针对所述列表中的所有被检测对象计算的被检测对象的置信度进行融合处理，并输出融合后的检测对象列表。

根据本发明的多角度图像的对象融合方法，进一步包括当读取该被拍摄场景的被检测对象的历史密度图时如果该历史密度图为空白，则使得该方法进入学习模式，并在计算置信度步骤的最初的一段时间内不基于历史密度指数，否则，使得该方法进入稳定模式。

根据本发明的多角度图像的对象融合方法，其中所述空间位置关系包括各个被检测对象列表中的每个被检测对象与对应深度摄像机之间的距离指数以及遮挡指数。

根据本发明的多角度图像的对象融合方法，其中所述距离指数通过各个被检测对象列表中的每个被检测对象的位置坐标与对应深度摄像机的位置坐标计算获得。