[发明专利]时空联合多视角视频插值及三维建模方法

摘要

本发明属于计算机多媒体技术领域。为提供一种简便实用的多视角视频插值及三维建模方法，本发明采取的技术方案是，时空联合多视角视频插值及三维建模方法，将多摄像机阵列间隔分组；重建出每个时刻上场景的三维模型，具体包括以下步骤：1)插值出两帧之间的未采集帧；2)采用模型辅助的加权方法得到该时刻未采集的视角的图像；3)计算并提取关键点；4)使用shape context形状上下文描述所提取的关键点，通过Hungarian方法求解；5)通过求解泊松编辑优化问题得到最终的插值帧；6)重建场景的三维模型并渲染。本发明主要应用于天线设计制造。

主权项

一种时空联合多视角视频插值及三维建模方法，其特征是，将多摄像机阵列间隔分组：设有n个帧率为f帧/秒的摄像机，均匀间隔分为m组，n、m为正整数，且n为m的整数倍；同组摄像机同步采集得到同一时刻n/m个视角的视频，不同组摄像机以1/(fm)秒的时间间插进行采集得到不同时刻的视频；采用所提出的时空联合多视角视频插值及三维建模方法得到所有时刻n个视角的视频，进而重建出每个时刻上场景的三维模型，具体方法包括以下步骤：1)对于每一个摄像机，采用光流方法求取相邻两个采集帧之间的前向光流和后向光流，进而插值出两帧之间的未采集帧，即时域插值帧；2)对于每一个采集时刻，采用模型辅助的加权方法得到该时刻未采集的视角的图像，即空域插值帧；3)计算由步骤1)得到的时域插值帧和由步骤2)得到的空域插值帧的双树离散小波域的积累能量谱，并提取关键点；4)使用shape context形状上下文描述所提取的关键点，并将基于形状上下文的关键点匹配问题转化为平方赋值即加权二分图匹配问题，通过Hungarian方法求解；5)通过求解泊松编辑优化问题得到最终的插值帧；6)在每个时刻上，利用所有视角的图像，包括采集图像和插值图像，采用多视角立体方法重建场景的三维模型并渲染。