[发明专利]一种视觉交互方法、系统和设备

说明书

技术领域

本发明属于虚拟现实方法技术领域，具体涉及一种视觉交互方法、系统和设备。

背景技术

现有技术中的虚拟现实(VR)体验中，有一部分采用了视觉追踪技术，当用户的目光注视交互界面上某处时，会产生如同鼠标光标的类似标记以便于用户设备进行交互操控时，选择图标。然而，由于VR图像的变化会产生很大的数据运算量，导致计算机处理时间过长，并且在视觉交互时，UI(即交互界面)屏幕内产生的鼠标光标图像不稳定，画面抖动，降低用户的体验效果。

发明内容

本发明要解决的技术问题，提供一种虚拟现实视觉交互方法、系统和设备，可以减少视觉交互过程中计算机的运算量，提高反应速度；并取消了现有技术中屏幕内的鼠标光标，直接通过用户视线进行交互过程中的选取操控。

为解决上述问题，本发明采用如下技术方案：

一种视觉交互方法，其特征在于，包括以下步骤：

步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；

步骤二、标定，屏幕中依次出现几个亮点，每个点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片。将每个点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；

步骤三、识别瞳孔在屏幕上的映射位置与屏幕中的交互图标位置是否重叠，进而判断是否将该图标激活。

图标激活的方式可以是点亮图标或其它任何可以通过人体感官判断出的信息提示，如图标放大，文字提示、语音提示等。

优选的，所述步骤二的标定环节，使用帧差法实现视觉追踪；

优选的，对用户视觉的追踪，识别瞳孔注视位置包括如下步骤：

1)对有效部分滤波处理，去除噪声对瞳孔识别的干扰；所述有效部分，是指在预处理过程中，使用9张图片使用帧差法分离出背景部分和用户视线关注的部分，进行瞳孔识别的时候是不需要处理背景部分数据的，以此提高效率和识别精度，减少不必要的计算；

2)将滤波后的帧数据进行阈值处理；

3)获得帧数据XY轴直方图分布图；

4)分别获取XY轴直方图峰值，得到用户瞳孔位置；

5)以球状模型对获得的位置进行坐标转换，获得屏幕上瞳孔注视的区域。

优选的，所述瞳孔注视的区域与屏幕上UI交互界面图标的坐标位置重叠，则点亮所述区域内的UI交互界面图标。

优选的，对有效部分的滤波处理采用区域最小值或最大值滤波法。

一种视觉交互系统，采用上述视觉交互方法。

一种视觉交互装置，采用上述视觉交互方法。

其工作原理是：通过红外摄像机高速拍摄人眼睛部位的图片，拍摄的同时将图片进行传输，识别出图片中瞳孔的位置，通过算法，实时对应到屏幕上的注视区域，实现视觉追踪。而由于高速拍摄会生成大类图片(每秒钟可达120张)，因此在运算时会生成大量无效数据。本发明通过在视觉追踪之前对拍摄图片进行预处理，删除瞳孔注视区域之外的无效背景图像，保留有效区域，再通过算法，实时对应到屏幕上的注视区域，实现视觉追踪，极大地减少了计算机处理的数据量，提高反应速度。同时，本发明取消了交互界面中的鼠标光标，直接采用视觉控制，通过对瞳孔注视的区域与UI交互界面图标的坐标位置是否重叠进行判断，如果坐标重叠，则激活所述区域内的UI交互界面图标，完成图标选择操控。

本发明可以实现的技术效果是：能够提高用户在虚拟现实交互体验中的体验效果，提升计算机反应速度，无抖动光标，提高了交互界面的画面质感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种虚拟现实视觉交互方法的流程示意图。

具体实施方式

参阅图1所示的一种虚拟现实视觉交互方法流程示意图，本发明采用如下技术方案：

一种视觉交互方法，其特征在于，包括以下步骤：

步骤一、对用户眼球图片进行识别，通过图片预处理，定位出图片中瞳孔中心位置；

步骤二、标定，屏幕中依次出现几个(可以选择设置1-9个)亮点，每个点出现的时候，使用者注视这个点，系统拍摄此时眼球的图片。将每个点的位置坐标和观测该点时的瞳孔位置图片建立对应关系，以实现在屏幕中实时显示瞳孔注视的位置，实现视觉追踪；