[发明专利]相机定位方法、装置、电子设备及存储介质

说明书

本公开提供一种相机定位方法、装置、电子设备及存储介质，所述方法包括：在获取相机采集的当前帧图像之后，将从所述当前帧图像中获取多个第一特征点与三维标记物数据库中的多个第二特征点进行匹配，确定与所述第一特征点匹配的第二特征点，所述三维标记物数据库存储一个或多个三维标记物分别对应的多个第二特征点及其三维坐标，且与所述第一特征点匹配的第二特征点的数量小于其中一个所述三维标记物对应的第二特征点的数量，从而基于匹配确定的三维坐标以及所述第一特征点在所述当前帧图像中的二维坐标确定相机当前位置。本公开实施例实现通过拍摄部分三维标记物即可进行准确定位的过程，降低了拍摄过程中对标记物的限制，具有广泛的适用性。

技术领域

本公开涉及增强现实技术领域，尤其涉及一种相机定位方法、装置、电子设备及计算机可读存储介质。

背景技术

增强现实技术(AR，Augmented Reality)可以将虚拟内容结合到现实场景中，用虚拟内容来做视觉上的增强，通过屏幕或投影设备来显示，并能支持用户与其进行交互，其已经成为虚拟现实研究中的一个重要领域，也是人机界面技术发展的一个重要方向。AR技术通过实时定位设备自身的空间位置，保证虚拟出来的内容与现实场景很好地结合，以达到足够的真实感。

相关技术中应用于移动终端上的AR技术主要分为两类：基于图片标记的AR技术以及基于IMU(惯性测量单元，Inertial measurement unit)的AR技术；其中，基于图片标记的AR技术通过终端拍摄特定的图像，根据该图像在相机画面中的位置，来确定相机的空间位置，也即确定终端的空间位置，在相机画面中叠加虚拟内容，移动或旋转终端时，根据相机/终端的空间位置更新虚拟内容，使得虚拟内容始终与特定的图像保持固定的位置关系，从而达到增强现实的体验；基于IMU的AR技术通过终端自身的陀螺仪、加速度计等传感器采集的数据来进行定位，终端旋转可以通过陀螺仪测得，而位移则可通过加速度计测得，根据定位的结果更新虚拟内容在相机画面中的位置。

但是，发明人在实现本公开的过程中，发现：基于图片标记的AR技术对于标记图像的依赖较大，当标记图像没有被完整的拍摄到时，相机则丢失定位，无法在画面中结合虚拟内容；基于IMU的AR技术精度较低，且累积误差会越来越大，适用场景有限。

发明内容

有鉴于此，本公开实施例提供一种相机定位方法、装置、电子设备及计算机可读存储介质。本公开的技术方案如下：

本公开的第一方面提供了一种相机定位方法，包括以下步骤：

获取相机采集的当前帧图像，对所述当前帧图像进行特征点提取，获取多个第一特征点的第一描述子信息及在所述当前帧图像中的二维坐标；

基于所述第一描述子信息，从预先建立的三维标记物数据库中确定与所述第一特征点匹配的第二特征点；所述三维标记物数据库存储与一个或多个三维标记物分别对应的多个第二特征点的第二描述子信息以及三维坐标；所述匹配的第二特征点的数量小于其中一个所述三维标记物对应的第二特征点的数量；

将所述匹配的第二特征点的三维坐标作为所述第一特征点的三维坐标，并基于所述第一特征点的二维坐标和三维坐标确定相机的当前位置。

可选地，任意一个所述三维标记物对应的多个第二特征点的第二描述子信息以及三维坐标通过以下方式确定：

获取多个环绕所述三维标记物拍摄的图片，对多个所述图片分别进行特征点提取，获取每张图片对应的多个第二特征点的第二描述子信息；

基于所述第二描述子消息，对多个所述图片之间的第二特征点进行匹配，获取第二特征点匹配对；

根据所述第二特征点匹配对进行三维重建，得到三维标记物模型；

根据所述三维标记物模型确定每个所述第二特征点的三维坐标。