[发明专利]一种基于人工标志点的遥操作增强显示方法

说明书

本发明涉及一种基于人工标志点的遥操作增强显示方法，基于传统的复杂编码的人工方形标志点和圆形标志点，使用了简化的对称编码标志点，虽然增加了使用标志点的数量，但仅仅使用对称的编码，减少了内存的占用同时提高了计算速度。在此基础上，新增了两个标志点，可以通过改变标志点的位置控制模型的旋转和缩放，将unity项目发布于移动设备端，使用手持拍摄设备可以环绕标志点观看模型，也可人持设备不动，通过标志点进行操作，增加了遥操作项目的交互性。

技术领域

本发明属于遥操作显示技术领域，涉及一种基于人工标志点的遥操作增强显示方法，具体包括一种基于人工标志点的快速增强显示及三维坐标系的确定方法。

背景技术

遥操作系统是利用机器人，通过传输媒介由操作人员在相对安全的环境中向远端机器人发送指令，远端机器人利用自身搭载的传感器获取数据进行反馈，操作人员利用这些反馈进行下一步决策的系统。遥操作系统广泛应用在空间安装，核工业，深海探测，军事等高危或远距离环境中。

遥操作技术是包含了机器人技术，计算机网络通讯，计算机图形学技术，人机交互技术，测控技术等，包括信息处理，操作交互，预测仿真等模块，其中预测仿真模块中使用的虚拟仿真技术可以对从端系统进行数字化模拟，形成友好的三围可视化交互界面，同时提供辅助信息。使用增强现实对虚拟模型进行显示，可以在观察虚拟模型的同时兼顾本地真实环境，保证操作人员及设备的安全。

在遥操作任务中，操作员所环境一般为室内，光线变化不明显，也不存在影响观测的遮挡关系，因而多采用平面人工标志点的三维注册方法将虚拟物体叠加到真实场景中。一般的三维注册均使用编码标志点，标志点中携带编码信息，如Schneider环形标志点和二维码衍生形ARTag标志点。然而在遥操作领域，这些标志点在首先在解码方面不便，以二维码衍生码为例，通常采用海明码进行编码，求解过程中需要4个Mat格式的变量存储图片经过透视变换后得到的结果，然后通过解码方式与库中的编码矩阵一一对应进行求解得到源码，同一套源码与解码方式唯一对应。其次，尽管可以通过特定的编码方法确定坐标系的朝向，使用3D引擎进行渲染，但不同于一般的手机AR应用程序，扫描到标志点即可显示尺寸较小的物体，且尺寸一般由显示引擎固定，不方便实时进行调整。遥操作增强显示为了能和环境较好的融合通常需要1:1显示，准确确定坐标系的朝向，且能方便的进行缩放显示。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于人工标志点的遥操作增强显示方法，聚焦于遥操作中的增强显示问题，针对编码标志点的解算问题以及模型的显示问题，基于对称的非数字编码人工标志点进行三维注册和显示，提高了解算的速度和显示效果，同时提供了增强现实的交互性。

技术方案

一种基于人工标志点的遥操作增强显示方法，其特征在于步骤如下：

步骤1：采用张正友方法对相机进行标定；

步骤2：

1、根据海明编码的方式对标志点进行编码并打印：编码为7*7的填充网格，网格的最外周采用黑色填充作为识别边界，内部的5*5网格作为编码区，使用黑色或白色作为填充，不同的填充方式代表不同的标识点；

2、选择四个不同的编码作为正方形的顶点组成一个正方形，另外制作的代表旋转的标志点“R”，代表缩放的标志点“S”则在不与其他标志点遮挡的位置任意放置；对正方形摄取一段视频；

3、通过Opencv的函数将视频帧图像转换为灰度图像；

4、将得到的灰度图像使用Otsu阈值化方法进行二值化处理；

5、使用轮廓检测算法获取符合条件连通域的轮廓区域；

步骤3：

1、对轮廓区域使用透视变换获得正方形图像；