[发明专利]基于增强现实和图像识别的人机交互支撑测试系统

说明书

技术领域

本发明涉及增强现实和图像识别的人机交互技术领域，特别是基于增强现实和图像识别的人机交互支撑测试系统。

背景技术

增强现实技术是近年来随着虚拟现实技术的发展而产生的一项新技术，其利用计算机渲染生成虚拟场景，并将此虚拟场景与真实世界准确无误的融合在一起，最终利用视频显示设备将虚拟融合之后的场景呈现给用户，从而大大提高了人类的视觉体验。增强现实技术可以产生实时的沉浸感，让人们以一种更加自然的方式与计算机进行交互，是一种强调“以人为主体”的人机交互技术，目前已广泛的应用于军事、医疗、教育、娱乐等领域。

在当前增强现实系统的研究和开发过程中，大多以实体的手持设备作为人机交互的主要接口，该方法虽然开发成本较低，但其交互功能相对简单，交互方式不够自然，并且大大的降低了增强现实中人机交互的沉浸感。为了给使用者提供一种更加自然与智能的交互方式，本发明利用人手通过图像识别的方式，代替手持设备来完成虚拟场景的人机交互，与实体式的手持设备相比，其易用性是显而易见的，将人手作为输入接口来完成与虚拟场景的交互，将虚拟模型绑定到操作者身上，使其更加自然的操作虚拟对象，大大的提高了人机交互的沉浸感，拓展了增强现实系统中人机交互的方式。

发明内容

本发明针对现有技术存在的问题，发明了基于增强现实和图像识别的人机交互支撑测试系统。该发明利用摄像机来获取真实场景的图像信息，对获取的图像进行标记检测和匹配，获得该标记对应的特征和身份信息。根据标记的特征和身份信息，计算得到该摄像机的姿态信息。生成与标记身份信息相对应的虚拟对象，并准确的与真实场景“对齐”，最终由显示设备把最终虚实融合的图像呈现出来。在人机交互的过程中由摄像头负责视频图像的采集，对每一帧图像进行判断、手势的识别、位置定位跟踪、手势位姿计算、虚拟模型加载、虚实融合、显示输出等过程，以完成一个完整的基于手势识别的增强现实系统人机交互过程。

该系统包含四个功能模块：标记跟踪模块、手势跟踪模块、鼠标控制模块和轨迹识别模块。手势跟踪又包含图像预处理、目标跟踪、目标检测、目标信息融合。手势识别模块有特征提取、聚类、轨迹识别三个子块组成。

所述的标记跟踪模块，处理摄像头实时采集的视频图像。通过标记检测和识别，获取标记的ID信息，计算得到摄像机的姿态信息，获得从真实坐标到二维屏幕的转化矩阵。

所述的手势跟踪模块，为带检测的跟踪方法。该模块判断在单帧图片中是否存在某种已定义的手势，如果存在则确定其在图像中位置。当跟踪遇到剧烈的变动或者跟踪点从摄像区域中消失时，可以重新检测目标并对其跟踪。

所述的已定义手势为四种静态手势，包括食指手型、剪刀手型、手掌手型以及拳头手型。

所述的鼠标控制为通过四个手型检测跟踪实现鼠标左、中、右的点击和漫游。其中定义手掌到拳头为鼠标左键的关系；手掌到剪刀为鼠标右键的关系；手掌到食指为鼠标中键盘的关系。将手型的变化映射到鼠标事件上，在未检测跟踪到任何手型时，只启动检测手型零，手型零代表人手开始握住鼠标，并开始做移动鼠标的动作。此是启动其它三类目标检测算子，等待类似鼠标左、中、右键按下和释放的指令。

所述的模式识别模块，将位置、方向和速度等特征进行聚类，离散化特征向量作为HMMs的输入，使用Viterbi算法对观察序列符号输出后验证概率，输出概率最大者为手势所属类别。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：该系统实现了虚拟信息与真实世界的无缝连接，达到虚拟融合的目的，在感官上提供给用户全新的体验。对于人机交互支撑测试系统，不单单去显示虚拟的信息，而且允许用户与系统进行实时的交互。实现了一个基于增强现实的具有触摸感知功能的人机交互支撑测试系统。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明的系统框图

图2为本发明实现流程图

具体实施方式

如图1所示，本发明基于增强现实和图像识别的人机交互支撑测试系统，提供了一个用单手运动，通过从单目、普通摄像头采集图像，进行图像识别的人机交互支撑测试系统，此系统包含三个功能模块：图像标记模块、手势跟踪模块、鼠标控制模块和轨迹识别模块。手势跟踪里面包含有图像预处理、目标跟踪、目标检测、目标信息融合；手势识别模块有特征提取、聚类、轨迹识别三个子块组成。图2为本发明实现的流程图。