[发明专利]一种基于光流的视频拼接方法有效

专利信息
申请号: 201810784634.9 申请日: 2018-07-17
公开(公告)号: CN108989751B 公开(公告)日: 2020-07-14
发明(设计)人: 张小云;谢春梅;杨华;陈立;高志勇 申请(专利权)人: 上海交通大学
主分类号: H04N7/18 分类号: H04N7/18;H04N5/262
代理公司: 上海汉声知识产权代理有限公司 31236 代理人: 庄文莉
地址: 200240 *** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 视频 拼接 方法
【权利要求书】:

1.一种基于光流的视频拼接方法,其特征在于,包括如下步骤:

步骤S1:从待拼接的两段视频中读取同步的左右帧图像,并进行预处理;所述预处理为:对读取到的左右帧图像进行相机参数矫正;

步骤S2:计算左右帧图像对应的公共区域,形成待拼接视频之间的公共区域,并对公共区域做密集光流估计;

步骤S3:将公共区域的密集光流聚类成如下三类:远景区域、地面近景区域和运动物体区域;

步骤S4:对待拼接视频之间的非公共区域进行光流的延伸估计,并将非基准帧按照光流投影到基准帧上构成初步全景图;其中:

非公共区域中光流的获得来源于公共区域,将非公共区域中聚类成远景区域和地面近景区域,非公共区域中远景区域的光流来源于公共区域中远景区域光流的均值,非公共区域中地面近景区域的光流来源于公共区域中地面近景区域光流的均值;非公共区域中的光流求出以后,基于光流将非基准帧映射到基准帧构成初步全景图;在所述初步全景图中,公共区域拼接后的图像像素值取左右帧图像中对应像素点像素值的加权平均,如果公共区域中像素点靠近左边界,则左帧图像像素值的权值越大,反之,则右帧图像像素值的权值越大;

步骤S5:对初步全景图中的遮蔽区域进行检测与校正,得到最终全景图,再将全景图编码成为全景视频;

步骤S6:返回步骤S1,读取下一对左右帧图像。

2.根据权利要求1所述的一种基于光流的视频拼接方法,其特征在于,步骤S2中,首先计算出左右图像帧对应的公共区域,然后再计算公共区域间的密集光流;对于待拼接视频帧之间的公共区域,计算出第一对左右帧图像对应的公共区域,后面的左右帧图像沿用即可。

3.根据权利要求1所述的一种基于光流的视频拼接方法,其特征在于,公共区域和/或非公共区域中聚类采用K-means方法。

4.根据权利要求1所述的一种基于光流的视频拼接方法,其特征在于,步骤S5中,将初步全景图中公共区域的像素点与基准帧的对应像素点的像素值进行比较,当差值的绝对值大于设定的阈值时,则认为该差值对应的部分为遮蔽区域;使用腐蚀膨胀方法对遮蔽区域进行后处理,得到最终的遮蔽区域;通过参照基准帧对应像素点和初步全景图中该像素周围的像素点,遮蔽区域得到校正,从而将初步全景图转化成为最终全景图;得到校正后的最终全景图后,通过编码得到最终全景视频。

5.根据权利要求1至4中任一项所述的一种基于光流的视频拼接方法,其特征在于,所述基准帧为定位最终全景图视角的帧图像,且在视频处理过程中基准帧保持不变,其他方向的帧图像均为非基准帧。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810784634.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top