[发明专利]全景图形成方法及系统在审
申请号: | 201811094220.X | 申请日: | 2018-09-19 |
公开(公告)号: | CN110930303A | 公开(公告)日: | 2020-03-27 |
发明(设计)人: | 李钟彬 | 申请(专利权)人: | 宅妆股份有限公司 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06T7/13;G06N3/04 |
代理公司: | 隆天知识产权代理有限公司 72003 | 代理人: | 黄艳 |
地址: | 中国台*** | 国省代码: | 台湾;71 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 全景 图形 成方 系统 | ||
本公开关于一种全景图形成方法以及系统,先通过拍摄装置取得用以合成一场景影像的多张影像,并获取多张影像的像素特征,根据像素特征判断是否具有边界影像特征与角落影像特征,能够得出重叠区域,并先以多张影像初步合成,并转换为一等距柱状投影图,之后,可以根据等距柱状投影图中物件特征判断出所述场景属于室内或是室外,并根据其中像素特征,或是重叠区域的边界影像特征或是角落影像特征,包括可以类神经网络的学习模型优化影像,再合成全景图。
技术领域
本公开有关一种产生全景图的方法,特别是一种可以针对室内与室外等不同特征的场景形成全景图的方法与系统。
背景技术
一般照相机、手机等拍摄影像的工具根据镜头的设计,具有一定的视场(Field ofView,FOV),一次也仅能拍摄一定视场范围内的影像,现有技术可利用计算机辅助工具拼接多张影像以得到一张广角照片或是全景照片。
若以全景图(panorama)为例,全景图,或说环景图,是一种影像涵盖视野达到全景左右360度、上下180度的视野的广角图,一般形成的方式是先通过相机拍摄某个场景下特定视场的影像,若相机中设有陀螺仪可以得出拍摄方位的传感器,记录连续拍摄多张影像的方位角,最后依照各张之间的方位角资信将多张影像拼接起来,可得一全景图。
现有技术中,为了拍摄全景图,曾有人将多部相机设置在一个承载装置上,并指向多个不同方向拍摄,之后通过拼接方式产生全景图。亦有技术运用移动装置中陀螺仪等传感器,通过运行于移动装置中的软件程序指引使用者手持装置朝向某个方向进行拍摄,一次朝向一个方向拍摄一张,之后指示使用者移动拍摄角度到第两个方向拍摄一张,经多次拍摄后得到全景的影像,软件程序再将这些影像结合成全景图。
发明内容
本公开公开一种全景图形成方法,可适用产生扩增实景或虚拟现实场景的全景图,并可使用一般照相设备执行拍摄,所述全景图形成方法的实施例包括先以拍摄装置取得一场景的多张影像,镜头优选采用鱼眼镜头,多张影像为不同拍摄角度所拍摄的影像。
接着,由照相设备或是其他计算机装置以影像处里的技术获取多张影像的像素特征,并根据像素特征,判断其中边界影像特征与角落影像特征,或其中的一个,借此得出多张影像的重叠区域。这时,先以多张影像初步合成,并转换为一等距柱状投影图,经比对图库中影像,执行物件检测,可以根据检测到的物件得出等距柱状投影图的属性,例如判断出影像为室外影像或是室内影像。接着,能根据等距柱状投影图的属性,判断以多个重叠区域的像素特征、边界影像特征与角落影像特征,或者其中的一个,合成一全景图。
进一步地,在判断影像中是否具有边界影像特征与角落影像特征的步骤中,先自多张影像中获取特征,例如用边界和角点检测法判断当中是否具有边界影像特征或角落影像特征,再以随机取样一致算法(RANSAC)过滤特征,找出重叠区域。
再进一步地,判断影像中物件的方式可以采用一深层回积分式类神经网络(Convolutional Neural Network,CNN),以识别等距柱状投影图内物件,据以判断场景的属性,例如室内或室外的分类。
在一实施方式中,上述方法中,于取得场景的多张影像时,各张影像可以一高动态范围(HDR)成像方式拍摄,得出对应各张影像的多张不同曝光值的子影像,并基于室内的深层回积分式类神经网络(CNN)学习数据得到全景影像的曝光值和饱和度值,将高动态范围成像(HDR)子影像根据数值进行影像合成。
本公开还公开一形成全景图的系统,系统主要组件为拍摄装置,拍摄装置可装设于一可旋转的承载装置上,承载装置依照拍摄装置的镜头拍摄视场(FOV)决定拍摄每张影像的旋转角度,以通过广角或鱼眼镜头在多个拍摄方向拍摄一场景的多张影像,其中包括一处理单元,以执行上述全景图形成方法。
为能更进一步了解本发明的特征及技术内容,请参阅以下有关本发明的详细说明与附图,但是这些说明与附图仅用来说明本发明,而非对本发明的保护范围作任何的限制。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于宅妆股份有限公司,未经宅妆股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811094220.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:壳体的表面加工方法
- 下一篇:一种空气源热泵用户电负荷预测方法