[发明专利]用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关计算机可执行代码

说明书

公开了用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关可执行代码，其中，所利用的因素包括视频馈送内的静态参数和动态参数。所评估的因素可以来源于包括视频传感器和音频传感器两者的异构传感器组合。在声学方面获取的场景信息可以补充在光学方面获取的信息。

发明领域

本发明总体涉及计算机视觉、图像和视频分析以及场景捕获和配准领域。更具体地，一些实施例涉及用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关可执行代码。

背景

视频内容分析(Video content analysis)(也被称作视频内容分析学 (Videocontent analytics)，VCA)是自动分析视频以检测并且确定时间事件和空间事件的能力。正因如此，它可以被看作是生物视觉皮层的自动化等价物。

这一技术能力广泛应用于包括娱乐、医疗保健、零售、汽车、运输、家庭自动化、安全和安保的领域。算法可以在通用机器上作为软件来实现，或者作为专用视频处理单元中的硬件来实现。

在VCA中可以实现许多不同的功能。视频运动检测是其中参考固定的背景场景检测运动的多种较简单形式中的一种形式。较先进的功能包括视频跟踪和自运动估计(egomotion estimation)。

基于VCA在机器中生成的内部表示，可构建其他功能，诸如，识别、行为分析或其他形式的态势感知。

VCA依赖于良好的输入视频，因此它经常与视频增强技术(诸如，视频去噪、图像稳定化、反锐化掩模(unsharp masking)和超分辨率)相结合。

另外，在计算机视觉、图像和视频分析领域以及场景捕获和配准 (registration)领域中，仍然存在对可以利用多因素图像特征配准和跟踪 (包括视频馈送(video feed)内的静态参数和动态参数两者，并且可选地包括从声学方面获取的场景信息)的技术的需求。

发明概述

本发明包括用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关可执行代码，其中，所利用的因素包括视频馈送内的静态参数和动态参数。根据一些实施例，所评估的因素可以来源于包括视频传感器和音频传感器两者的异构传感器集合。根据另外的实施例，在声学方面获取的场景信息可以补充在光学方面获取的信息。

根据本发明的实施例，“视频馈送”可以涉及任何实况的或实时的视频流、预先录制的视频馈送、和/或连续的静止图像的任意集合。

根据本发明的一些实施例，用于多因素图像特征配准和跟踪的系统可以包括：(1)相机类型标识模块，用于标识接收到的视频馈送的来源是静态相机还是动态相机；(2)透镜畸变补偿模块，用于数字地校正视频馈送图像畸变；(3)相机位置模块，用于标识相机在场景内的位置和取向；(4) 三维(以下称：3D)轨迹跟踪模块，用于将取向向量分配给场景中的动态元素(多个动态元素)和/或分配给场景相机；(5)动态元素分析模块，用于标识和跟踪场景内的动态元素；(6)静态场景特征配准模块，用于基于所跟踪的动态元素(多个动态元素)的运动和/或基于在所跟踪的动态元素 (多个动态元素)与场景中的静态元素之间的相互作用来对场景中的静态元素进行配准，和/或用于基于对于场景中图像的配准来构建相对深度场景；和/或(7)行为关联模块，用于使在场景中的动态元素(多个动态元素)的检测到的/测量到的/提取到的运动动态与特征化动作相关联，和/或用于基于它们的运动动态特征数据/轮廓/记录来识别特定的人类个体。

根据一些实施例，该系统还可包括：(8)声场景映射模块，用于利用散射声学回溅进一步映射场景。

附图简述

关于本发明的主题在说明书的结束部分被特别指出并被清楚地要求保护。然而，本发明关于操作的组织和方法以及其目的、特征和优点，在参照附图一起阅读时，通过参考以下详细描述可得到最好的理解，其中：