[发明专利]增强现实显示方法、装置、电子设备及存储介质

说明书

本申请适用于计算机技术领域，提供了增强现实显示方法、装置、电子设备及存储介质，包括：获取目标环境图像，并确定目标环境的点云数据；其中所述目标环境图像包括拍摄所述目标环境得到的二维图像及深度图像；从所述二维图像中确定目标物体对应的二维目标区域；根据所述二维目标区域的二维坐标信息及所述深度图像的信息，从所述目标环境的点云数据中分割出所述目标物体对应的目标三维点云数据；将所述目标三维点云数据与虚拟模型的预设点云数据进行三维配准，确定所述虚拟模型与所述目标物体之间的变换矩阵；根据所述变换矩阵，将所述虚拟模型映射到所述目标物体对应的区域进行显示。本申请实施例能够高效准确地实现增强现实显示。

技术领域

本申请属于计算机技术领域，尤其涉及一种增强现实显示方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，在手术导航、智慧交通、娱乐游戏等领域有着越来越广泛的应用。增强现实技术具体是将计算机生成的虚拟信息内容叠加至真实环境中，使得虚拟模型与真实环境的真实物体能够在同一画面或者空间中同时存在，这一过程能够被人类感官所感知，从而实现超越现实的感官体验，实现对真实世界的“增强”。

然而，现有技术难以将虚拟模型高效准确地映射到真实物体对应的区域进行显示，即，现有的增强现实场景显示效率及准确性较低。

发明内容

有鉴于此，本申请实施例提供了增强现实显示方法、装置及电子设备，以解决现有技术中如何高效准确地实现增强现实显示的问题。

本申请实施例的第一方面提供了一种增强现实显示方法，包括：

获取目标环境图像，并确定目标环境的点云数据；其中所述目标环境图像包括拍摄所述目标环境得到的二维图像及深度图像；

从所述二维图像中确定目标物体对应的二维目标区域；所述目标物体为位于所述目标环境中的真实物体；

根据所述二维目标区域的二维坐标信息及所述深度图像的信息，从所述目标环境的点云数据中分割出所述目标物体对应的目标三维点云数据；

将所述目标三维点云数据与虚拟模型的预设点云数据进行三维配准，确定所述虚拟模型与所述目标物体之间的变换矩阵；

根据所述变换矩阵，将所述虚拟模型映射到所述目标物体对应的区域进行显示。

可选地，所述二维目标区域为第一目标矩形框，所述从所述二维图像中确定目标物体对应的二维目标区域，包括：

对所述二维图像进行目标检测，确定目标物体对应的第一目标矩形框；所述第一目标矩形框用于标识所述二维图像中包含所述目标物体的二维图像信息的图像区域；

对应地，所述根据所述二维目标区域的二维坐标信息及所述深度图像的信息，从所述目标环境的点云数据中分割出所述目标物体对应的目标三维点云数据，包括：

根据所述第一目标矩形框的四个顶点的二维坐标信息，在所述深度图像中确定与所述第一目标矩形框对应的第二目标矩形框；

根据所述四个顶点的二维坐标信息及所述第二目标矩形框中所包含的深度信息，确定所述目标物体对应的三维长方体区域；

根据所述三维长方体区域，从所述目标环境的点云数据中分割出所述三维长方体区域包含的点云数据作为所述目标三维点云数据。

可选地，所述从所述二维图像中确定目标物体对应的二维目标区域，包括：

通过训练后的目标神经网络模型对所述二维图像进行处理，确定所述目标物体对应的像素掩码区域；所述像素掩码区域由所述二维图像中包含所述目标物体的图像信息的各个像素点组成；