[发明专利]使用合成图像训练对象检测算法的方法和系统和存储介质

说明书

使用合成图像训练对象检测算法的方法和系统和存储介质。一种非暂时计算机可读介质，其实施使得一个或更多个处理器执行方法的指令。该方法包括以下步骤：(A)接收对于在一个或更多个存储器中存储的3D模型的选择，3D模型对应于对象；以及(B)设置检测真实场景中的对象的姿态时使用的摄像头的摄像头参数集。方法还包括以下步骤：(C)接收表示视图范围的数据的选择；(D)通过渲染视图范围内的3D模型，基于摄像头参数集生成至少一个2D合成图像；(E)使用该至少一个2D合成图像生成训练数据以训练对象检测算法；以及(F)将所生成的训练数据存储在一个或更多个存储器中。

本申请是申请号为201811515330.9(申请日为2018年12月12日，发明名称为“使用合成图像训练对象检测算法的方法和系统和存储介质”)的发明专利申请的分案申请。

技术领域

本公开总体涉及训练对象检测算法的领域，更具体地涉及使用合成二维(2D)图像训练对象检测算法的方法和系统。

背景技术

增强现实(AR)已经随着计算机技术的进步而变得越来越常见。AR的一般定义是拍摄真实世界场景并使用软件添加人造(虚拟)元素。这可以增强真实世界的用户感知或向用户提供娱乐。

对象跟踪在许多AR实施方案中使用。在对象跟踪中，真实世界对象被人造对象“跟随”，人造对象诸如计算机图形增强或信息泡(如由用户感知的)。换言之，如果真实世界对象移动或用户的视图相对于真实世界对象移动，则人造对象将相对于真实世界对象保持在相同位置中，和/或将基于真实世界对象的移动和/或新位置来确定人造对象的内容。许多AR实施方案中还使用位置跟踪。在位置跟踪中，虚拟对象将停留在场景中的一个位置中，而不管用户的移动如何。

用于实施AR的一个平台是智能电话。摄像头、显示装置以及处理器在同一装置上的存在允许软件将人造元素容易地添加到由摄像头拍摄的现场场景。而且，运动传感器和定位器(例如，加速计和GPS)在这些装置上的存在由软件利用来更佳地实施AR。

虽然智能电话提供了用于实施AR的简单且方便的平台，但它们不提供针对用户的非常沉浸式的体验。这是因为用户的眼睛与智能电话在空间上是分开的，并且不是用他们自己的眼睛感知环境，其观看如由摄像头拍摄的场景。

发明内容

为了对AR体验改进，透明头戴式显示器(HMD)可以实施AR。这些系统通常为眼镜，在眼镜中在眼睛前面设置棱镜。用户直接借助眼镜来观看场景。棱镜允许将人造图像叠加在如由用户感知的场景上。同时，HMD使用摄像头从场景收集数据。

3D姿态估计是具有许多应用的重要技术，应用包括AR、VR以及机器人学领域。

跟踪器常使用初始化方法来第一次启动跟踪，并且在跟踪丢失的情况下重新启动跟踪。这会需要根据没有先前历史的图像估计对象的姿态，一种有时被称为对象检测和姿态估计(ODPE)的技术。

经常用要用于AR系统的摄像头拍摄的对象的图像来训练对象检测算法以识别特定对象。在至少一些已知系统中，训练处理的初始阶段耗时且人工执行。在这种人工训练中，训练者定位对象，使用AR系统的摄像头从大量不同视角拍摄对象的大量图像，并且向训练计算机上传图像。训练者使用训练计算机将对象的三维(3D)模型对齐到各所拍摄图像中的对象的图像。

本公开的一些方面的优点是解决了上述问题中的至少一部分，并且本公开的方面可以作为以下方面来实施。