[发明专利]一种实现虚拟触摸校准的方法以及系统

说明书

技术领域

本发明涉及增强现实技术，尤其涉及一种实现虚拟触摸校准的方法以及系统。

 

背景技术

新兴的增强现实技术可以使虚拟世界与真实世界的交互显得更直接更自然，而基于手势的人机交互是实现增强现实技术的交互中不可缺少的关键技术。让真实的人或者物体直接与3D虚拟投影对象进行交互，即让手势与虚拟物体直接交互，用户用手势直接控制3D虚拟投影对象，这种表达自然清晰，使得人机交互的体验更具有吸引力。

现有技术中，3D虚拟投影及虚拟触摸的用户交互界面及实现方法，包括深度探测器、双眼图像视差计算模块、双眼图像处理模块、3D显示设备、手势识别模块、摄像头和虚拟触摸控制器。如图1所示，深度探测器探测得到用户头部和手部与3D显示设备的距离信息；双眼图像视差计算模块根据深度探测器探测的距离信息计算双眼图像视差；双眼图像处理模块根据双眼图像视差信息处理图像；再将处理后的图像发送给3D显示设备虚拟投影在用户臂长范围内；手势识别模块等待到用户的手势操作虚拟投影画面后，根据深度探测器和摄像头识别到用户手指移动轨迹；虚拟触摸控制器根据用户手势及移动轨迹做出相应的反应。

但本申请发明人在实现上述技术方案的过程中，发现其至少存在如下技术问题：要实现虚拟触摸的效果，需要将手势的位置空间与虚拟投影画面的像素空间进行空间投影变换。但由于深度探测器的可移动性，使得深度探测器移动之前设定的投影变换规则不适用与移动之后的；或者由于更换用户后人眼的瞳孔距离发生改变，使得看到的虚拟投影画面的出屏深度发生了改变，也使得更换用户之前设定的变换规则不适用与更换之后的；这些因素，都容易产生手势点击某一处，响应显示在另一处的错乱效果，影响了交互的准确性。

发明内容

本申请实施例通过提供一种实现虚拟触摸校准的方法，解决了现有技术中由于深度探测器移动后以及用户更换时人眼瞳孔距离发生改变时，引起的手势点击与响应不一致的问题，提高了交互的准确性，改善了用户的观看感受。

本申请实施例提供了一种实现虚拟触摸校准的方法，所述方法包括：

创建虚拟校准菜单；

以显示所述虚拟校准菜单所在的平面为x轴和y轴构成的平面，建立第一坐标系；

建立第二坐标系，将用户手势位置用所述第二坐标系坐标表示； 

计算所述第一坐标系和所述第二坐标系的对应关系；

根据所述对应关系，将第二坐标系表示的用户手势位置坐标，用所述第一坐标系的坐标表示；

根据用所述第一坐标系的坐标表示的用户手势位置坐标，校正用户手势与虚拟校准菜单的对应关系。

进一步地，所述虚拟校准菜单为

包含第一圆，第二圆和第三圆的三个圆形图标，所述三个圆的第一圆心坐标，第二圆心坐标和第三圆心坐标，分别为以显示的虚拟画面为矩形的左下角、右下角和左上角的坐标。

进一步地，所述计算所述第一坐标系和所述第二坐标系的对应关系，具体为：

根据所述虚拟校准菜单四个校准点的第一坐标系坐标，和获取到的用户虚拟触摸所述虚拟校准菜单三个校准点的处于第二坐标系的坐标，计算将所述第二坐标系内任一点坐标转换为所述第一坐标系坐标的平移量、缩放比例和旋转角度；

进一步地，所述计算所述第一坐标系和所述第二坐标系的对应关系，具体为：

将所述用户虚拟触摸虚拟画面任意一点在第二坐标系中的坐标，用

与该点在所述第一坐标系的坐标对应，其中，

A为显示虚拟画面的水平分辨率，B为显示虚拟画面的垂直分辨率，、和为虚拟触摸所述虚拟校准菜单第一圆心、第二圆心和第三圆心的坐标。

进一步地，所述校正用户手势与虚拟校准菜单的对应关系之后，显示待操作虚拟画面，并针对用户双眼位置的改变引起虚拟画面位置的改变进行补偿，所述补偿具体包括：

根据公式和，对平行于显示屏平面的用户双眼位置偏移引起虚拟画面位置的偏移进行补偿，负号表示用户双眼位置偏移方向与虚拟画面位置偏移补偿的方向相反；

根据公式和，对垂直于显示屏平面的用户双眼位置偏移时引起虚拟画面位置的偏移进行补偿；

根据和，得到用户双眼位置倾斜时对左右眼图像的垂直视差补偿，所述左眼补偿和右眼补偿方向相反。