[发明专利]时空联合多视角视频插值及三维建模方法

权利要求书

1.一种时空联合多视角视频插值及三维建模方法，其特征是，将多摄像机阵列间隔分组：设有n个帧率为f帧/秒的摄像机，均匀间隔分为m组，n、m为正整数，且n为m的整数倍；同组摄像机同步采集得到同一时刻n/m个视角的视频，不同组摄像机以1/(fm)秒的时间间插进行采集得到不同时刻的视频；采用所提出的时空联合多视角视频插值及三维建模方法得到所有时刻n个视角的视频，进而重建出每个时刻上场景的三维模型，具体方法包括以下步骤：

1)对于每一个摄像机，采用光流方法求取相邻两个采集帧之间的前向光流和后向光流，进而插值出两帧之间的未采集帧，即时域插值帧；

2)对于每一个采集时刻，采用模型辅助的加权方法得到该时刻未采集的视角的图像，即空域插值帧；

3)计算由步骤1)得到的时域插值帧和由步骤2)得到的空域插值帧的双树离散小波域的积累能量谱，并提取关键点；

4)使用shape context形状上下文描述所提取的关键点，并将基于形状上下文的关键点匹配问题转化为平方赋值即加权二分图匹配问题，通过Hungarian方法求解；

5)通过求解泊松编辑优化问题得到最终的插值帧；

6)在每个时刻上，利用所有视角的图像，包括采集图像和插值图像，采用多视角立体方法重建场景的三维模型并渲染。

2.如权利要求1所述方法，其特征是，模型辅助的加权方法具体包括以下步骤：

21)通过简单的差分或者蓝屏分割技术由采集到视角图像提取三维物体的轮廓图；

22)利用步骤21)计算得到的轮廓图，通过EPVH方法重建粗略的三维模型，即可视外壳模型；

23)对于每一个未采集视角i，利用与之相邻最近的两个采集视角j和k的图像进行加权插值，权值计算如下：

其中，Θ和Ф为两个常量角，分别代表允许的摄像机视线之间夹角的最大值和三维点法线与摄像机视线之间夹角的最大值；θ₁为摄像机视线r_i和摄像机视线r_j的夹角，θ₂为摄像机视线r_i和摄像机视线r_k的夹角，为三维点p的法线与摄像机视线r_j的夹角，为三维点p的法线与摄像机视线r_k的夹角；p为通过视角i图像上某一像素的视线与三维模型的交点。