[发明专利]在3D模型中结合视频元数据

权利要求书

1.一种通过3D模型表示在2D视频数据中被跟踪目标的方法，所述方法包括：

检测并跟踪目标在校准后的摄像机的2D数据馈送的视场环境中的运动，其中所述摄像机被校准成把所述摄像机放到摄像机视场环境的3D模型的空间高度、朝向与位置背景中；

定位被跟踪目标的质心；

确定质心与视场环境中的地平面的交叉点；

通过使用作为质心与所确定的地平面交叉点的函数的、被跟踪目标的对应2D图像的反向投影，初始化适用于所述环境的3D模型的空间背景中的被跟踪目标的、基于3D网格的体积模型；

把2D图像数据中目标的被跟踪运动路径的非线性动态性表示为不同局部线性模型的集合；

把2D目标的纹理投影到3D模型上；及

通过学习最小化模型运动的图像再投影误差的不同局部线性模型的加权组合，把目标的2D轨迹升级到3D运动，以便在基于动态网格的3D中驱动3D模型。

2.如权利要求1所述的方法，进一步包括：

利用交叉验证系统优化不同局部线性模型的总数。

3.如权利要求2所述的方法，进一步包括：

利用最小二乘法为每个不同的局部线性模型求解混合系数；及

作为时间与求解出的混合系数的函数更新3D模型的位置。

4.如权利要求3所述的方法，进一步包括：

利用来自运动捕捉输入的训练数据在离线阶段学习用于初始化后的3D模型的不同局部线性模型；

从学习到的用于初始化后的3D模型的局部线性模型构建多个3D目标模型的库，所述多个3D目标模型中的每一个都提供似是而非的3D模型动态性的不同例子；及

其中，初始化3D模型的空间背景中的被跟踪目标的基于3D网格的体积模型的步骤包括：

执行在构建好的库中查找用于2D被跟踪目标的匹配动态模型。

5.如权利要求4所述的方法，其中初始化3D模型的空间背景中的被跟踪目标的基于3D网格的体积模型的步骤进一步包括：

识别检测到的2D被跟踪目标的目标类型或行为；及

从库中的多个3D目标模型选择具有匹配所识别出的目标类型或行为的动态性的3D模型。

6.如权利要求4所述的方法，其中利用来自运动捕捉输入的训练数据在离线阶段学习用于初始化后的3D模型的不同局部线性模型包括：

收集相似目标运动的多个不同的学习到的例子；

除去相似目标运动的不同的学习到的例子之间的平移、旋转和比例差异；及

通过主成分分析恢复目标运动因子，其中第一主成分代表数据均值，而第二和后面的成分代表用于目标运动数据的变化的区分模式。

7.如权利要求6所述的方法，其中除去相似目标运动的不同的学习到的例子之间的平移、旋转和比例差异的步骤是普鲁克对齐。

8.一种系统，包括：

处理单元、计算机可读存储器与计算机可读存储介质；

第一程序指令，用于定位在校准后的摄像机的2D数据馈送的视场环境中被检测和跟踪的运动目标的质心，并且确定质心与视场环境中的地平面的交叉点，其中所述摄像机被校准成把所述摄像机放到摄像机视场环境的3D模型的空间高度、朝向与位置背景中；

第二程序指令，用于通过使用作为质心与所确定的地平面交叉点的函数的、被跟踪目标的对应2D图像的反向投影，初始化适用于所述环境的3D模型的空间背景中的被跟踪目标的、基于3D网格的体积模型；

第三程序指令，用于把2D图像数据中目标的被跟踪运动路径的非线性动态性表示为不同局部线性模型的集合，把2D目标的纹理投影到3D模型上，及通过学习最小化模型运动的图像再投影误差的不同局部线性模型的加权组合，把目标的2D轨迹升级到3D运动，以便在基于动态网格的3D中驱动3D模型；及

其中第一、第二和第三程序指令存储在计算机可读存储介质上，以供处理单元经计算机可读存储器执行。

9.如权利要求8所述的系统，其中第三程序指令进一步用于利用交叉验证系统优化不同局部线性模型的总数。

10.如权利要求9所述的系统，其中第三程序指令进一步用于：

利用最小二乘法为每个不同的局部线性模型求解混合系数；及

作为时间与求解出的混合系数的函数更新摄像机视场3D环境的3D模型的位置。