[发明专利]基于语义分割和SLAM的AR设备景深信息应用方法

说明书

本申请涉及一种基于语义分割和SLAM的AR设备景深信息应用方法；包括：对AR设备的前置相机设计语义分割模型，通过语义分割模型把用户眼前景象中的各物体进行分割得到语义分割图像；通过SLAM技术对用户需要注意的目标进行规划与提示增强，得到用户自身环境的深度图像；将深度图像与语义分割图像进行融合。本发明使用双目鱼眼相机实现纯视觉的SLAM，通过稠密视觉法动态构建地图以及对环境中各物体的定位与深度分割，实现虚拟信息与现实环境的耦合，通过将深度图像与语义分割图像进行融合后引导用户注视观察不同深度的物体以调节用户视力。

技术领域

本申请涉及人工智能图像处理技术领域，特别是涉及一种基于语义分割和SLAM的AR设备景深信息应用方法。

背景技术

随着信息技术的发展，生活越来越趋向于使用物联网（Internet of Things，即IoT）来实现智能生活概念的数字化生活，例如智能家居系统、个人健康监控或广泛的机器对机器通信。而增强现实（Augmented reality，即AR）是促进人类集成到此类系统中的一项核心技术，是一项将虚拟与现实相结合的技术，为人们提供了与智能生活的数字世界进行交互的界面。尽管AR在医疗、生产生活、工业设计等领域尚未准备好进行部署，但在其他如娱乐等领域已经使用了它。近年来，电子微型化的飞跃式发展和计算能力的爆炸性增强使得开发具有与消费者和行业相关能力的AR系统成为可能。AR系统使人类能够通过位于物理世界之上的一层信息来访问数字信息。根据广泛使用的现实-虚拟性连续体，AR位于真实环境和虚拟环境之间，即现实世界环境与虚拟现实环境，通过相机与传感器的方位精准计算系统在环境中的位置以及环境中各物体的位置，再通过图像分析技术让虚拟信息与现实场景进行结合与交互。一般地说，AR系统的基本组件是可视化技术、传感器系统、跟踪系统、处理单元和用户界面。可视化技术可在真实环境中可视化数字信息，主要包括四种技术，即头戴式显示器、手持设备、静态屏幕和投影仪；传感系统的功能是从环境中获取信息，对大多数系统来说，其中央输入是一台及以上的相机，包括普通光学相机、红外相机、深度相机等；跟踪系统则为系统的关键，使数字对象可以准确地放置在物理世界中；用户界面是实现系统与用户之间的双向通信，例如系统输出的力反馈和声音提示以及用户输入的交互方式；处理单元负责执行软件以运行AR系统。但目前的AR系统一般地可以分为两种，以标记点（锚点）作为依据进行虚实结合以及通过非标记的方法进行耦合。前者早期更为普遍且成熟，但是以标记点的方式使得AR应用十分受限；而后者通过传感器与跟踪定位算法进行耦合，较为依赖硬件上的性能，同时传感器与系统复杂度之间的取舍以及算法精确度与硬件性能的权衡使得系统难以得到理想的效果。

因此增强现实有望成为未来通用的计算平台，而AR中的传感与追踪系统是并不可少也是最为关键的一环，这一组件有硬件部分的传感器与软件算法部分的同步定位与地图构建技术（Simultaneous localization and mapping，SLAM）。SLAM是通过在系统运动过程中不断观测到的环境特征再根据自身位置进行增量式的地图构建，同时除了简单的二维平面SLAM（平面地图），还有三维立体SLAM，后者可以更加精细地构建出环境的三维空间中各个物体的位置以及姿态，极大地便于AR系统中虚拟数字信息与真实环境之间的耦合。但是由于AR设备的结构性以及成本等因素，系统中的传感器大多是纯视觉的，也就是基于纯视觉SLAM的。与基于雷达的SLAM和混合SLAM不同，后者可以往往那通过雷达构建出进度更高的地图，而前者由于采集的数据更为丰富语义信息，但是运算成本高且性能有待提高。因此需要在基于AR的应用环境下进一步改进纯视觉的SLAM并且充分利用环境中的语义信息。

现有技术中的AR系统内，算法模型体量大、所占用的算力多，不能做到轻量级，硬件算力有限且要求实时性不具有针对性，此外现有模型与数据集都是基于普遍的分类标签，不适应AR眼镜应用需求，浪费了大量的资源。激光SLAM虽然技术成熟、可靠性高，但是成本高，雷达扫描范围和安装结构都有限制。而且体积较大不适用于AR系统。

发明内容