[发明专利]一种非接触式屏幕交互方法及系统

说明书

技术领域

本发明涉及计算机应用技术领域，具体涉及一种非接触式屏幕交互方法及系统。

背景技术

交互式大屏幕是近年来比较流行的演示交互系统，用户可通过一定的手段对到大屏幕显示的内容进行操控，例如，翻页浏览、移动、缩放等。准确的捕捉、理解用户操控动作的意图是实现交互的关键，同时，操控动作自然和人性化，符合用户习惯，满足用户交互体验需求，也是目前大屏幕交互研究中的一个热点。

现有技术方案之一是，用户手持单支激光笔在大屏幕上画出一定的图案，摄像机实时捕捉、识别激光笔的轨迹，并与预定的图案进行匹配，匹配成功后，将其映射到计算机识别的指令、如鼠标、键盘动作等，从而实现与计算机的交互。但是，使用单个激光笔进行交互时，用户需要记住一些特别的图案，容易误动作，而且交互动作不够自然和人性化，交互能力不足。

发明内容

本发明实施例公开了一种非接触式屏幕交互方法及系统，能够更加自然和人性化地实现非接触式屏幕交互。

本发明实施例的第一方面提供一种非接触式屏幕交互系统，所述系统包括用于将图像信息送至投影仪的计算机、用于将所述图像信息显示在屏幕上的投影仪、用于捕获投影在屏幕上的图像信息的摄像机和用于产生激光束投射在所述屏幕上的激光发射装置，所述激光发射装置包括两个激光指示器，所述系统还包括执行器，所述执行器包括：

激光点定位模块，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标；

操控对象识别模块，用于根据所述两个激光点的计算机屏幕坐标及停留时间信息，识别所述两个激光指示器所指向的操控对象；

操控动作识别模块，用于根据所述两个激光点的相对运动趋势或分别根据所述两个激光点的绝对运动趋势识别所述两个激光指示器的操控动作；

交互驱动模块，用于将所述操控动作转换为计算机可识别的针对所述操控对象的操控指令并传输给计算机，由计算机执行所述操控指令。

在本发明实施例第一方面的第一种可能的实现方式中，所述激光点定位模块包括：

标定单元，用于确定摄像机图像坐标系和计算机屏幕坐标系的映射关系；

定位单元，用于从所述摄像机捕获到的图像信息中实时检测所述两个激光指示器投射在所述屏幕上的两个激光点的位置信息和时间信息，并根据所述映射关系，将所述两个激光点在所述图像信息中的摄像机图像坐标映射到计算机屏幕坐标。

在本发明实施例第一方面的第二种可能的实现方式中，所述操控对象识别模块具体用于：

当所述两个激光点中的至少一个的计算机屏幕坐标在预设时间内保持不变时，则确定发生选择对象事件；

当所述两个激光点中的一个发生选择对象事件时，若该激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象；

当所述两个激光点均发生选择对象事件时，若两个事件出现的时间差小于阈值，则确定发生两个选择对象事件，若所述两个激光点的计算机屏幕坐标落在同一个对象的显示区域内，则确定该对象为操控对象，如果所述两个激光点的计算机屏幕坐标落在两个不同对象的显示区域内，则确定所述两个不同对象为两个操控对象；

当所述两个激光点均发生选择对象事件时，如果两个事件出现的时间差大于阈值，则确定后发生的选择对象事件无效，若先发生选择对象事件的激光点的计算机屏幕坐标在某个对象的显示区域内，则确定该对象为操控对象。

结合本发明实施例第一方面或本发明实施例第一方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第一方面的第三种可能的实现方式中，所述操控动作识别模块具体用于：

将所述两个激光指示器中的一个投射在所述屏幕上的激光点作为向量的起点，将所述两个激光指示器中的另一个投射在所述屏幕上的激光点作为所述向量的终点，根据所述向量的模及方向角的变化趋势，以识别所述两个激光指示器的操控动作；或者，

分别根据所述两个激光指示器投射在所述屏幕上的激光点的运动轨迹，以识别所述两个激光指示器的操控动作。

结合本发明实施例第一方面或本发明实施例第一方面的第一至第二种中的任一种可能的实现方式，在本发明实施例第一方面的第四种可能的实现方式中，所述操控动作识别模块具体用于：