[发明专利]一种基于AR技术的低压设备运维方法

权利要求书

1.一种基于AR技术的低压设备运维方法，其特征在于：该方法包括以下步骤：

（1）现场音视频采集：采集现场音视频和图像信息，到云平台运维系统；

（2）运维对象的目标检测和识别：采集至少5000张运维设备上的目标样本，进行数据清洗和框选类别标注；利用图像以及标注框训练YOLO深度神经网络模型；模型训练完成后对运维现场传来的图像进行运维设备上目标的检测，给出目标包围框；

（3）运维对象的故障诊断：根据常见运维故障及运维数据和经验，建立专家知识库进行存储，再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射；

（4）增强现实呈现诊断结果：检测运维设备在图像中的横纵坐标位置，再通过相机的位姿追踪计算相机和对象在空间中相对的位置，接着重建场景的三维信息，最后将设计好的增强现实内容叠加到运维对象上。

2.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（1）中运维人员穿戴增强现实智能眼镜设备，通过连线连接智能终端或手机；智能终端或手机运行智能运维应用后即可与智能眼镜通信；通过智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到云平台运维系统。

3.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（2）中深度神经网络检测模型在训练阶段，深度网络在三种不同的尺度上进行检测，对于输入图像，先归一化到416×616的大小，深度网络在三个尺度等级上进行预测，深度网络是通过分别将输入图像的尺寸下采样32、16和8倍精确地给出，网络的基本组件为卷积、批量归一化和带泄露的截断线性单元，第一次检测由第82层进行，图像由网络前81层下采样，得到13×13×255的检测特征图，然后，来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图，进行第二次检测，第三次检测在第106层进行，采用第二次检测方法得到特征图的尺寸为52×52×255。

4.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（3）中运维对象的故障诊断：APP扫描计量设备条形码开始工单排查，后台接口收到APP上传图像识别通知，接口上传的信息包括：客户端及其链路socket id、图片信息和检测类别；

后台接口调用图像识别检测动态库,传递需要检测的图片信息及检测类别，图像检测动态里根据故障检测模型detectConfig.xml找到相应检测场景下的方法method做处理，异步回调返回结果；

回调返回结果：图像识别检测动态库检测出结果会保存更新至结构体，在YOLO检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果；

APP工单排查接口返回展示：APP根据返回的检测结果，在APP本地素材库里找到配置文件进行解析，然后进行向导式的故障运维知识指导和流程跳转，若本地没有素材，则去云端下载更新到本地服务器。

5.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（4）中利用滑动窗口和模版匹配法确定运维设备在图像中的横纵坐标位置，其中滑动窗口为与运维设备在图像中的大小相同的窗口，模版图像为采集的具有代表性的运维设备图像，用滑动窗口在图像中从上到下、从左到右地进行滑动，在每个位置将窗口内的图像与模版图像进行互相关匹配，选取相关度最高的位置作为运维设备在图像中的位置；

在相机采集到的相邻两帧图像中提取特征点，并利用特征点周围的像素为该特征点生成描述子，在相邻两帧图像中根据描述子对特征点进行匹配，找到至少4对的特征点对后根据相机模型解算相机采集这两帧之间的运动变换矩阵，连续执行该步骤得到相机在每一个时刻的位置，获得相机运动的轨迹信息以及对象在空间中的位置信息；

利用相机运动的轨迹信息和提取到的特征点，利用对极几何和三角测量原理获得像素的深度值；根据摄像机成像原理，计算出世界坐标系与图像像素坐标系之间的转换关系；对于多帧通过不同角度拍摄的景物图像，各帧之间包含的公共部分，对图像进行分析，求解各帧之间的变换参数，深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。