[发明专利]基于语义分割和SLAM的AR设备景深信息应用方法在审
申请号: | 202011224040.6 | 申请日: | 2020-11-05 |
公开(公告)号: | CN112365604A | 公开(公告)日: | 2021-02-12 |
发明(设计)人: | 瞿岩松;夏轩;陈卫兴 | 申请(专利权)人: | 深圳市中科先见医疗科技有限公司 |
主分类号: | G06T19/00 | 分类号: | G06T19/00;G06T5/50;G06T7/55;G06T7/11;G06T7/73;G06N3/04;G06N3/08 |
代理公司: | 广东广和律师事务所 44298 | 代理人: | 刘敏 |
地址: | 518000 广东省深圳市龙岗区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 语义 分割 slam ar 设备 景深 信息 应用 方法 | ||
1.一种基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,包括:
对AR设备的前置相机设计语义分割模型,通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像;
通过SLAM 技术对用户需要注意的目标进行规划与提示增强,得到用户自身环境的深度图像;
将深度图像与语义分割图像进行融合。
2.根据权利要求1所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述对AR设备的前置相机设计语义分割模型,通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像之前还包括:
通过卷积神经网络可视化方法对卷积神经网络模型的最后一次卷积的特征图进行反向传播计算出相应的权重,再利用每张特征图乘于权重得到带有权重的特征图,计算出特征图的平均值并进行上采样即可得到由粗注释学习到的细注释,从而能够利用较粗的注释进行基于弱监督的卷积神经网络模型的训练。
3.根据权利要求2所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述粗注释包括边界框或标签,所述细注释包括热图或掩膜。
4.根据权利要求2所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述对AR设备的前置相机设计语义分割模型,通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像与通过SLAM 技术对用户需要注意的目标进行规划与提示增强,得到用户自身环境的深度图像之间还包括:
用户根据自身环境对语义分割模型的后端部分参数进行随机解冻实现自定义。
5.根据权利要求4所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述对AR设备的前置相机设计语义分割模型,通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像包括:
以包含全部类别的数据集对语义分割模型做预训练,待卷积神经网络层充分学习到各种图像的纹理后再进行迁移学习,对AR设备相关性高的数据进行针对性的训练;
采用空洞卷积和空间金字塔型空洞池化结构设计语义分割模型,其中空洞卷积部分使用多尺度区域进行对象定位,将多个具有不同膨胀度的萎缩卷积分支组合在一起利用多尺度特性进行图像分割;
在语义分割模型的后端使用全连接条件随机场对用户眼前景象中的各物体进行分隔。
6.根据权利要求4所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述SLAM 技术为基于双目鱼眼相机的视觉SLAM技术,通过视觉SLAM技术构建基于ORB-SLAM3的系统。
7.根据权利要求6所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述基于ORB-SLAM3的系统包括:
地图集,所述地图集用于通过由一系列离散的地图组成的混合地图集去维护一个激活地图来定位新的关键帧,并通过局部建图线程不断的优化更新激活地图;
追踪算法,所述追踪算法用于通过处理传感器的数据并实时计算当前帧和激活地图的位姿,计算出最小化匹配特征点的重投影误差及关键帧的筛选,当系统跟丢之后利用混合地图集进行重定位,若重定位成功则继续追踪,若重定位失败则会重新初始化一个新的激活地图进行追踪与建图;
局部建图,所述局部建图用于通过添加关键帧、特征点到激活地图中,删除多余的帧并使用视觉或者视觉惯导的BA优化来优化地图;
循环与地图融合,所述循环与地图融合用于在动态的激活地图和混合地图集中检测相同的区域,如果相同的区域是在激活地图中则执行闭环过程,待闭环过程执行完毕后通过全局BA来优化激活地图,如果激活地图和混合地图集中没有相同的地图,则将激活地图和混合地图集融合成一个地图。
8.根据权利要求7所述的基于语义分割和SLAM的AR设备景深信息应用方法,其特征在于,所述基于ORB-SLAM3的系统在具有惯导的情况下,利用局部建图中的方法来估计初始化和优化IMU的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市中科先见医疗科技有限公司,未经深圳市中科先见医疗科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011224040.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:教室照明系统用智能控制器
- 下一篇:一种嵌入式粉碎机