[发明专利]一种基于增强现实技术的设备维修辅助方法

权利要求书

1.一种基于增强现实技术的设备维修辅助方法，其特征在于：包括：

预存储设备信息，包括设备名称、生产厂家、设备参数和使用状况；

采集所有设备环境信息,包括图像信息，送入存储器存储；

根据预维修对象本身特点选定设备的图样完成图像匹配；

利用惯性器件采集加速度、角速度数据，经过卡尔曼滤波与DMP处理后完成姿态结算；

根据图像数据采集模块的内外参数确定坐标系之间的转换关系，使用惯性数据补偿视觉数据之后，完成配准工作以及图像的追踪处理；

根据配准结果完成3D模型的绘制并将模型导入视频流中，完成虚拟物体与真实场景的叠加；

将增强过的图像信息调入显示缓存区中并输出，实现对显示场景图像的实时增强显示。

2.根据权利要求1所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述根据预维修对象本身特点选定设备的图样完成图像匹配具体包括：

通过在图像中采集出的目标的各种特点，对所有目标体进行分类识别；

若捕捉到预维修对象真实环境的图像，即在图像中寻找到Marker，并得出Marker的屏幕坐标与世界坐标之间的计算关系；

对采集到的视频图像做二值化处理，接着对二值图像予以图像分割，得到Marker的轮廓，下来拟合出Marker的边缘线，做规范化处理后，再将Marker模板列表中的模板与经过规范化处理的图像进行匹配。

3.根据权利要求2所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述将Marker模板列表中的模板与经过规范化处理的图像进行匹配，具体包括：判定采集到的图像里检索有没有Marker，若有则通过计算图像和Marker之间的相关系数，得出在二者相应点的最大值，完成匹配模板的过程。

4.根据权利要求3所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述完成匹配模板的过程具体包括：

从已经检索出的Marker的图像里取出Marker的轮廓部分的图像，再用旋转或缩放的方式进行规范化处理，获得和模板T(x,y)一样大小的图像S(x,y)；

把图像S(x,y)与模板T(x,y)执行相关系数计算，如果模板与图像S的大小为M*M，也就是他们的行像素数为M，列像素数为M，其相关系数的计算如下:

经过计算，得到相关系数值；

把图像S进行90度旋转，再循环执行4次上述步骤；

相关系数的最大值通过对比这四个相关系数的大小找出，当相关系数接近1时，可判定出识别到的Marker的图像就是此时的图像，即模板与Marker完成了匹配。

5.根据权利要求1所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述配准工作采用视觉导航方法与惯性导航方法相结合的位置跟踪方法。

6.根据权利要求5所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述位置跟踪方法具体包括读取加速度值以及角速度值，再经过卡尔曼滤波后，获得采样的周期很短的四元数，再采用基于四元数的滑动滤波算法进一步解算出欧拉角，经坐标变换后与视觉导航数据经一致性估计后做进一步融合，实现配准。

7.根据权利要求1所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述图像数据采集模块为摄像机。

8.根据权利要求7所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述内外参数具体为摄像机的几何结构和位姿特征参数。

9.根据权利要求8所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述内参数具体包括自焦距f光心到图像平面之间的距离、主点(u0，v0)光轴与图像平面的交点、比例因子与像素x和y的尺寸有关、摄像机畸变因子k和摄像机径向畸变相关的比例因子。

10.根据权利要求8所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述外参数具体包括以表述摄像机的姿态的旋转参数和以表述在世界坐标系里摄像机所在的位置的平移参数。