[发明专利]一种用于增强现实的实时图像叠加方法以及装置有效
申请号: | 201610764571.1 | 申请日: | 2016-08-30 |
公开(公告)号: | CN107798702B | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 郑黎力;余辉 | 申请(专利权)人: | 成都理想境界科技有限公司 |
主分类号: | G06T7/73 | 分类号: | G06T7/73;G06T7/13 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 610041 四川省成都市高新*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 增强 现实 实时 图像 叠加 方法 以及 装置 | ||
1.一种用于增强现实的实时图像叠加方法,其特征在于,包括:
获取一单目摄像机实时拍摄预设场景时的视频信息,并从所述视频信息中确定出关键帧;
根据当前关键帧和所述当前关键帧的在前关键帧实时建立点云数据,所述当前关键帧和所述在前关键帧之间的视差角大于第一预设值,所述点云数据中的每一个数据点包含有三维坐标;
将所述当前关键帧对应的点云数据投影到所述当前关键帧上,并根据投影结果以及所述当前关键帧的超像素分割结果,确定所述当前关键帧中的平面;
根据所述单目摄像机与所述预设场景之间的相对位姿,将虚拟图像叠加到所述当前关键帧中的平面上;
所述将所述当前关键帧对应的点云数据投影到所述当前关键帧上,并根据投影结果以及所述当前关键帧的超像素分割结果,确定所述当前关键帧中的平面,具体包括:
对所述当前关键帧进行超像素分割处理,获得所述当前关键帧的超像素集合;
将所述当前关键帧对应的点云数据投影到所述当前关键帧上,获得与所述数据点一一对应的投影点;
遍历所有投影点,检测每一个投影点到每一个超像素的最短距离,并且,在第一投影点到第一超像素的最短距离小于第一阈值时,将所述第一投影点对应的第一数据点与所述第一超像素建立关联;
根据每个超像素关联的数据点,获得每个超像素对应的平面方程,从而获得所述当前关键帧中所有超像素对应的平面方程;
在所述根据每个超像素关联的数据点,获得每个超像素对应的平面方程之后,所述方法还包括:
针对每个超像素进行以下处理:
将第一超像素的边缘投影到与所述当前关键帧相邻的N帧关键帧上,并计算所述N帧关键帧的每一关键帧中匹配的超像素的边缘的投影误差;
在某一帧关键帧对应的投影误差小于第二阈值时,确定所述第一超像素对应的平面方程具有一个匹配;
在所述第一超像素对应的平面方程具有超过第一预设数目的匹配时,确定所述第一超像素对应的平面方程为正确的方程;
在所述获得所述当前关键帧中所有超像素对应的平面方程之后,所述方法还包括:
将所有关键帧中的超像素叠加到同一张三维图中,并按以下条件进行融合:当两个平面方程对应的超像素相邻,且所述两个平面方程的法向量夹角小于第三阈值,且所述两个平面方程的偏移量小于第四阈值时,融合所述两个平面对应的两个平面方程。
2.如权利要求1所述的实时图像叠加方法,其特征在于,所述根据当前关键帧和所述当前关键帧的在前关键帧实时建立点云数据,具体包括:
对所述当前关键帧和所述在前关键帧进行立体匹配;
根据三角测量原理,实时建立所述点云数据。
3.如权利要求1所述的实时图像叠加方法,其特征在于,在所述根据每个超像素关联的数据点,获得每个超像素对应的平面方程之前,所述方法还包括:
通过随机抽样一致性算法,去除每个超像素关联的数据点中的外点。
4.如权利要求1-3中任一权项所述的实时图像叠加方法,其特征在于,每间隔第二预设数目的关键帧,执行步骤:将所述当前关键帧对应的点云数据投影到所述当前关键帧上,并根据投影结果以及所述当前帧的超像素分割结果,确定所述当前关键帧中的平面。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都理想境界科技有限公司,未经成都理想境界科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610764571.1/1.html,转载请声明来源钻瓜专利网。