[发明专利]增强现实生成方法及装置

说明书

本发明公开了一种增强现实生成方法及装置。该方法包括：通过移动端获取目标设备的视频数据；将所述视频数据输入目标检测模型中，确定边框信息与类别信息；基于所述边框信息与所述类别信息确定所述目标设备的姿态信息与展示数据；基于所述姿态信息将所述展示数据与所述视频数据进行场景融合；以及将场景融合后的图像在所述移动端进行展示。本公开涉及的增强现实生成方法及装置，能够在各种复杂的真实场景下实时识别跟踪电力设备，并将设备信息显示在工作人员的移动终端上。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种增强现实生成方法及装置。

背景技术

增强现实(Augmented Reality)技术是一种新兴计算机应用和人机交互技术，指的是用虚拟内容来做视觉上的增强，通过屏幕或投影设备来显示。它通过虚实融合技术将生成的虚拟信息如三维模型、文字图片、声音视频，融合到真实世界，以此来增强用户对真实世界的感知能力。

在增强现实技术提出后，在各个行业领域如医疗、制造、维修、军事训练等的应用纷纷出现。在电力行业，也正逐步开展增强现实技术的研究与应用。目前的增强显示技术大部分是基于特征点匹配算法的无标识跟踪匹配技术，存在很多问题。因此，需要一种新的增强现实生成方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种增强现实生成方法及装置，能够在各种复杂的真实场景下实时识别跟踪电力设备，并将设备信息显示在工作人员的移动终端上。

根据本公开的一方面，提出一种增强现实生成方法，该方法包括：通过移动端获取目标设备的视频数据；将所述视频数据输入目标检测模型中，确定边框信息与类别信息；基于所述边框信息与所述类别信息确定所述目标设备的姿态信息与展示数据；基于所述姿态信息将所述展示数据与所述视频数据进行场景融合；以及将场景融合后的图像在所述移动端进行展示。

在本公开的一种示例性实施例中，还包括：获取用户的手势；对所述手势进行识别，生成指令信息；以及基于所述指令信息调节所述场景融合后的图像的展示效果。

在本公开的一种示例性实施例中，还包括：通过历史数据对YOLOv3模型进行模型训练以获取所述目标检测模型。

在本公开的一种示例性实施例中，通过历史视频数据对YOLOv3模型进行模型训练以获取所述目标检测模型包括：获取多个设备在不同环境下、不同角度的多个图像；基于包围盒技术对所述多个图像进行数据标注；将标注后的所述多个图像分为训练图像与测试图像；以及通过所述训练图像与所述测试图像生成所述历史数据以对YOLOv3模型进行模型训练获取所述目标检测模型。

在本公开的一种示例性实施例中，通过所述训练图像与所述测试图像生成所述历史数据以对YOLOv3模型进行模型训练获取所述目标检测模型包括：将所述训练图像与测试图像输入由Tensorflow构建的YOLOv3模型；在GTX1080Ti下进行YOLOv3模型的训练与测试，获取初始目标检测模型；以及将所述初始目标检测模型编译为Java本机接口文件以生成目标检测模型。

在本公开的一种示例性实施例中，将所述视频数据输入目标检测模型中，确定边框信息与类别信息包括：将所述视频数据输入目标检测模型中；以及通过所述目标检测模型的MobileNetV2网络结构对所述视频数据进行检测分析以确定边框信息与类别信息。

在本公开的一种示例性实施例中，将所述视频数据输入目标检测模型中，确定边框信息与类别信息还包括：在所述目标检测模型对所述视频数据进行检测分析的过程中坐标损失采用平方误差损失函数。