[发明专利]基于小波变换的单相机视频三维重建方法

说明书

技术领域

本发明属于计算机多媒体技术领域，具体讲，涉及小波变换及单相机视频三维重建方法。

背景技术

为了给人们带来视觉上的沉浸感、立体感以及对对象的全方位认识(视角可变、外部光照可变等)，现有的场景捕获已经从原有的单视角采集方式发展到多视角采集方式。多视角采集可以通过分布在不同位置上的多摄像机的同步采集来实现，国际上多所著名大学与研究机构如：斯坦福、麻省理工、卡奈基梅隆、萨里大学、三菱电子、微软研究院、马克斯-普朗克信息研究所都搭建了多摄像机采集系统。然而，多摄像机的采集方式存在成本高、校准复杂、系统维护困难、图像分辨率有限等问题。为了降低成本和复杂度、提高图像采集分辨率，另一种基于单相机视频的多视角采集方式越来越受到欢迎，并在广播电视、城市建设、等领域有着广泛的应用前景。该方法采用单个相机围绕场景拍摄一段视频，然后根据所拍摄的视频联合重建三维场景结构和相机的运动。这种方法对于刚性静态物体取得了很好的结果(J.Fortuna and A.M.Martinez，Rigid Structure from Motion from a Blind Source Separation Perspective，International Journal of Computer Vision，Vol.88，No.3，pp.404-424，2010.)，但是对于非刚性运动物体，尤其是复杂的变形物体，仍然存在一定难度。一些研究人员采用DCT变换对物体形状轨迹进行建模来重建非刚性运动物体的形状和相机运动(I.Akhter，Y.A.Sheikh，S.Khan，and T.Kanade.Nonrigid structure from motion in trajectory space.in Neural Information Processing Systems，December 2008.P.F.U.Gotardo and A.M.Martinez.Computing smooth time-trajectories for camera and deformable shape in structure from motion with occlusion.IEEE Trans.PAMI，2011.)，但是DCT对于非平滑轨迹的描述能力有限，因而精度很难提高。

发明内容

为克服现有技术的不足，提供一种精确鲁棒的单相机视频三维重建方法，更加精确地重建非刚性物体形状和相机运动，为达到上述目的，本发明采取的技术方案是，一种基于小波变换的单相机视频三维重建方法，包括以下步骤：

1)手持一台相机围绕一个运动物体运动，同时采集一段视频；

2)采用KLT特征点跟踪方法计算每一帧图像的对应特征点，KLT为Kanade-Lucas-Tomasi字头缩写；

3)选取跟踪时间最长即所对应的帧图像最多的n个对应特征点；

4)计算由步骤3)得到的的n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；

5)建立观测矩阵，其中矩阵每一列为一个对应特征点在m幅帧图像上的对应像素位置，矩阵每两行为一幅帧图像上n个特征点对应的像素坐标(x，y)；

6)基于小波变换将观测矩阵W分解为的形式，其中为运动矩阵，为形状基矩阵，r为形状基的个数，为W平均列向量，为元素都为1的向量，为对角矩阵，对角线元素为m个帧图像所对应视角的2×3的旋转矩阵，为截断的小波基函数，d为截断后的小波基个数，为形状轨迹在小波基表示下的系数，I₃为3×3的单位矩阵，表示矩阵的Kronecker乘法，(·)^T表示矩阵的转置；

7)计算各个时刻的三维点云，即动态三维点云

基于小波变换分解观测矩阵的方法具体包括以下步骤：

6-1)计算观测矩阵W的平均列向量t；

6-2)迭代地采用PTA方法计算矩阵D，直到平均正交化误差没有变化为止，PTA是point trajectory approach的字头缩写：