[发明专利]一种基于红外摄像机-可见光投影仪的人机交互系统及装置

说明书

本发明公开了一种基于红外摄像机‑可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。本发明利用两个红外摄像机获取三维信息，信息量更加丰富，应用更加灵活，并且不需要其他接触式设备；红外摄像机与红外LED灯相结合，防止环境光和投影光的干扰，使得检测过程更加准确；通过标定实现了红外摄像机和可见光投影仪之间的位姿转换，最终实现与投影仪的交互功能。

技术领域

本发明属于光学三维测量领域，提供了一种基于红外摄像机-可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体形态，通过红外摄像机-可见光投影仪之间的关系实现实时的人机交互。

背景技术

人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。

人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。

传统用于人机交互方法主要是基于触摸交互设备(鼠标，触摸屏)，这类交互方式无法完全模拟人体动作。随着人机交互技术的不断发展,各种各样的新型人机交互技术不断涌现，基于视觉的人机交互技术由于比较符合交流习惯成为近年来应用于人机交互技术中的一项关键技术。基于视觉的人机交互是当前涉及图象处理、模式识别、计算机视觉等领域的一个比较活跃的课题，具有很广泛的应用价值，例如控制VR中的智能化，机器人控制，虚拟现实系统中的多模式接口等。

光学三维测量由于具有非接触、精度高、速度快的优势，已经发展成为三维检测领域最重要的技术。三维数据具有更高的自由度，更广阔的定义空间，更精准的信息获取，在人机交互中有着重要价值。由于结构光立体视觉系统简便，成本比较低，而且精度较高，因此应用最为广泛。

发明内容

本发明提供了一种基于红外摄像机-可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。

本发明采取的技术方案为：

一种基于红外摄像机-可见光投影仪的人机交互系统，包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互。

所述双目立体视觉系统中的左红外摄像机和右红外摄像机的光轴有0度到120度的交叉，通过标定左红外摄像机和右红外摄像机的内外参数参数，实现目标三维信息的重建。

所述可见光投影仪投射的光属于可见光波段，可见光波段的波长为400到760纳米。

所述左红外摄像机和右红外摄像机可检测波段为近红外波段，近红外波段波长为780到3000纳米；

所述可见光摄像机为彩色摄像机或者黑白摄像机。

整个交互过程如下：

第一步：在扫描被测目标前，标定出可见光投影仪和红外摄像机之间的位姿关系。标定方法如下；