[发明专利]一种基于人工标志点的遥操作增强显示方法

权利要求书

1.一种基于人工标志点的遥操作增强显示方法，其特征在于步骤如下：

步骤1：采用张正友方法对相机进行标定；

步骤2：

a.根据海明编码的方式对标志点进行编码并打印：编码为7*7的填充网格，网格的最外周采用黑色填充作为识别边界，内部的5*5网格作为编码区，使用黑色或白色作为填充，不同的填充方式代表不同的标识点；

b.选择四个不同的编码作为正方形的顶点组成一个正方形，另外制作的代表旋转的标志点“R”，代表缩放的标志点“S”则在不与其他标志点遮挡的位置任意放置；对正方形摄取一段视频；

c.通过Opencv的函数将视频帧图像转换为灰度图像；

d.将得到的灰度图像使用Otsu阈值化方法进行二值化处理；

e.使用轮廓检测算法获取符合条件连通域的轮廓区域；

步骤3：

a.对轮廓区域使用透视变换获得正方形图像；

b.对得到的正方形图像进行3次90度的旋转，得到四个正方形图像；对4个图像进行海明码解码，得到与原始拍摄图像旋转一致的图像；

所述图像中包含图像信息为：每个标志点四个顶点位置信息，记为P_{name_i}(x，y),其中name为标志点的名称，i为求解得到的第i个顶点，i的取值为1～4，(x，y)为像素坐标；

步骤4：

a.对每张图像通过顶点计算,记v1，v2分别为：

v1＝P_{name_2}(x，y)-P_{name_1}(x，y)，

v2＝P_{name_3}(x，y)-P_{name_1}(x，y)

res＝(v1.x*v2.y)-(v1.y*v2.x)

根据res的结果对每张图像的四个顶点逆时针排序，记排序之后每张图片的顶点坐标为acP_{name_i}(x，y)；

b.利用位于对角线的顶点数据求解中心点center_name的屏幕坐标：

c.标志点O中心对应的世界坐标为O(0，0，0)，OP1为x轴，OP2为y轴，对应的世界坐标为P1(k，0，0)，P2(0，0，k)，P3(k，0，k)，y轴表示竖直方向；并且四点构成P4P问题进行求解，能够得到此图像对应的摄像机位姿矩阵；

步骤5：

a.在3D引擎中配置好OpenCVforUnity插件，使用WebTexture获取真实摄像机拍摄的场景，将模型的位置放置在虚拟场景世界坐标系(0，0，0)的位置，使用虚拟摄像机渲染虚拟模型并与真实场景进行叠加；

b.利用步骤4的a和b中的方法确定“R”，“S”标志点的中心；

c.根据摄像机小孔成像模型，利用标志点的中心能够求得标志点在真实坐标系中的理论位置为(rx，0，rz)和(sx，0，sz)；

d.定义R点与x轴OP1的夹角为模型的旋转角度，S点的模长为模型的缩放比例，通过脚本控制，即

localRotation＝Quaternion.Eular(new Vector3(rx，0，rz))

localScale＝Vector3.One*Math.sqrt(new Vector3(sx，0，sz))。

2.根据权利要求1所述基于人工标志点的遥操作增强显示方法，其特征在于：所述步骤1的标定为：打印一张边长为10cm的10*10棋盘格作为标定板；使用待标定的摄像机从不同角度对棋盘格拍摄10～15张照片；借助Matlab的Camera Calibrator工具箱求解摄像机的内参矩阵。