[发明专利]增强现实显示方法、装置、电子设备及存储介质

权利要求书

1.一种增强现实显示方法，其特征在于，包括：

获取目标环境图像，并确定目标环境的点云数据；其中所述目标环境图像包括拍摄所述目标环境得到的二维图像及深度图像；

从所述二维图像中确定目标物体对应的二维目标区域；所述目标物体为位于所述目标环境中的真实物体；

根据所述二维目标区域的二维坐标信息及所述深度图像的信息，从所述目标环境的点云数据中分割出所述目标物体对应的目标三维点云数据；

将所述目标三维点云数据与虚拟模型的预设点云数据进行三维配准，确定所述虚拟模型与所述目标物体之间的变换矩阵；

根据所述变换矩阵，将所述虚拟模型映射到所述目标物体对应的区域进行显示。

2.如权利要求1所述的增强现实显示方法，其特征在于，所述二维目标区域为第一目标矩形框，所述从所述二维图像中确定目标物体对应的二维目标区域，包括：

对所述二维图像进行目标检测，确定目标物体对应的第一目标矩形框；所述第一目标矩形框用于标识所述二维图像中包含所述目标物体的二维图像信息的图像区域；

对应地，所述根据所述二维目标区域的二维坐标信息及所述深度图像的信息，从所述目标环境的点云数据中分割出所述目标物体对应的目标三维点云数据，包括：

根据所述第一目标矩形框的四个顶点的二维坐标信息，在所述深度图像中确定与所述第一目标矩形框对应的第二目标矩形框；

根据所述四个顶点的二维坐标信息及所述第二目标矩形框中所包含的深度信息，确定所述目标物体对应的三维长方体区域；

根据所述三维长方体区域，从所述目标环境的点云数据中分割出所述三维长方体区域包含的点云数据作为所述目标三维点云数据。

3.如权利要求1所述的增强现实显示方法，其特征在于，所述从所述二维图像中确定目标物体对应的二维目标区域，包括：

通过训练后的目标神经网络模型对所述二维图像进行处理，确定所述目标物体对应的像素掩码区域；所述像素掩码区域由所述二维图像中包含所述目标物体的图像信息的各个像素点组成；

对应地，所述根据所述二维目标区域的二维坐标信息及所述深度图像的信息，从所述目标环境的点云数据中分割出所述目标物体对应的目标三维点云数据，包括：

根据所述像素掩码区域的二维坐标信息，从所述深度图像中确定与所述像素掩码区域对应的深度图区域；

根据所述深度图区域的信息，确定所述目标物体对应的目标三维点云数据。

4.如权利要求3所述的增强现实显示方法，其特征在于，所述根据所述深度图区域的信息，确定所述目标物体对应的目标三维点云数据，包括：

根据所述深度图区域的信息，从所述目标环境的点云数据中分割出所述与所述像素掩码区域对应的待定三维点云数据；

对所述待定三维点云数据进行离群点去除处理，得到所述目标物体对应的目标三维点云数据。

5.如权利要求1至4任意一项所述的增强现实显示方法，其特征在于，所述获取目标环境图像，包括：

从目标视频数据中按序获取一帧视频帧图像作为当前的目标环境图像；所述目标视频数据为拍摄所述目标环境得到的视频数据；

对应地，在所述根据所述变换矩阵，将所述虚拟模型映射到所述目标物体对应的区域进行显示之后，还包括：

若在所述当前的目标环境图像之后存在下一帧视频帧图像，则返回执行所述从目标视频数据中按序获取一帧视频帧图像作为当前的目标环境图像的步骤及后续的步骤，以根据下一帧视频帧图像实时更新所述虚拟模型的显示。