[发明专利]一种基于手持摄像头的人机交互方法及装置

说明书

技术领域

本发明涉及人机交互方法领域，具体说，涉及利用机器视觉的图像分析方法进行人机交互的领域。 

背景技术

常用的人机交互方式包括计算机的鼠标触摸屏等点取设备，电子游戏操纵杆等，都是利用激光红外或机械的方法来实现定位。当用户需要选取显示设备如屏幕上的目标，则需要移动相应的点取设备产生相对物理位移，从而使光标在屏幕上移动。另一方面，在电视机遥控器使用红外方式与电视机进行交互，用户通过简单点取遥控器上的比如上下左右等按钮实现屏幕菜单的选取，功能复杂的电视机需要更多的按钮与之对应，这使得遥控器的尺寸越来越大。电视机上对应的电子游戏，即使使用游戏手柄等设备，也无法像计算机鼠标一样实现对屏幕内容的精确定位，比如射击游戏的瞄准动作就无法利用现有游戏手柄完成。 

发明内容

本发明的目的在于利用机器视觉的原理为电视机及计算机用户提供提供一种精确定位屏幕坐标的方法及装置。通过安装在遥控器上的实时视频采集设备，为电视机增加像计算机鼠标一样的点取功能，即不但可以通过遥控器上的方向键选取屏幕菜单，而且可以实现屏幕坐标定位，增加对那些需要精确定位画面内容的操作的支持（如射击游戏的瞄准动作），而这正是传统遥控器所欠缺的。本发明不光适用于电视机，也可为计算机用户提供一种替代现有电子游戏杆的交互操作方式。 

  

本发明包含一个安装了视频采集设备（摄像头）的遥控器，和计算电视机屏幕位置以及计算光标在精确位置的计算方法。算法以嵌入式程序或专用数字芯片形式安装在遥控器中，遥控器作为电视机的从属设备，通过红外方式与主设备（电视机）实现通信，传输坐标信息。在进行电子游戏操作时，遥控器可以设计成其他如枪（射击游戏）方向盘（赛车游戏）等形状。如该设备用在普通个人计算机中，算法可以用计算机软件形式实现。

方法流程见框图（图1），对应的具体技术内容如下： 

步骤1.摄像头面向电视屏幕（或计算机屏幕）采集视频图像，视频图像帧率为每秒15-30帧，分辨率为320×240像素；

步骤2.检测每帧图像中是否存在电视机屏幕，若有，转入步骤3；否则，退出该帧图像的检测。

步骤3.计算图像中心点落在电视机屏幕区域的位置。先计算摄像头与与电视屏幕（或计算机屏幕）的相对位置，然后计算摄像头镜头光轴与电视屏幕（或计算机屏幕）平面的交点，左后得到该交点在电视屏幕（或计算机屏幕）上的精确位置作为光标位置输出。 

其中，步骤1实现视频实时采集，使用价格低廉的计算机用CMOS摄像头即可。摄像头镜头的视野需要尽可能覆盖电视机屏幕的四条边，为了实现这一点，要保证摄像头与电视机屏幕处在合适的距离，或者使用广角镜头。对于广角镜头产生的画面变形，可以通过图像处理方法来矫正。 

 步骤2和步骤3涉及到机器视觉和图像分析方法的具体实施，将在下一节进行描述。 

具体实施方法

该发明的关键步骤是利用图像分析的算法，得到电视屏幕（或计算机屏幕）在画面上的具体位置。这里使用了两种方法。

方法一：检测电视屏幕的四条边E1, E2, E3和E4。基本想法是利用Hough变换检测直线。首先用基于图像梯度的Hough变换，把图像转换到Hough空间中，再对Hough空间进行分析，得到最可能是电视屏幕（或计算机屏幕）的4条直线。 

方法二：基于形状统计的方法如主动形状法(ASM)。这是一种基于离线学习的方法，根据大量当前型号电视机屏幕的采样图像得到关于屏幕形状和颜色信息的统计信息，检测到图像中最符合统计模型的四边形作为电视屏幕输出。 

图像采集到的电视屏幕（或计算机屏幕）的四边形，是标准的电视屏幕（或计算机屏幕）的矩形模板在摄像机成像平面上的映射，这种映射是一种透射变换。根据电视屏幕（或计算机屏幕）的四边形图像和矩形模板可以计算出电视屏幕（或计算机屏幕）和摄像机的空间相对位置。 

设检测到的四边形为E₁,E₂,E₃和E₄，根据它们可求出四边形的4个顶点为P₁, P₂, P₃,和 P₄。设屏幕矩形模板的4个顶点为：T₁, T₂, T₃,和 T₄,坐标分别为(设坐标原点在模板中心处)：