[发明专利]一种基于手写输入和指尖鼠标的电视人机交互方法

说明书

技术领域

本发明涉及电视遥控技术，具体涉及一种基于手写输入和指尖鼠标的电视人机交互方法。

背景技术

目前，随着三网融合的推进，智能电视的发展对电视的交互式操作提出了更多的要求。电视人机交互需要文字输入和鼠标点击功能。传统的按键式遥控器无法满足电视发展带来的新的交互需求。电视的发展和电视的特点，对电视的人机交互提出了三个要求：第一个要求自然、便利的文字输入、网页的浏览、选取和频道选择。第二个要求是实时性。第三个要求是电视机的人机交互必须在远距离（3～5米）、复杂背景下完成，而计算机和手持设备的距离大概30公分以内。这也是目前电视的人机交互落后于计算机和手持设备的原因。

基于视觉的电视人机交互成为一个主流技术，目前主要是手势控制，满足了电视人机交互的部分需求，但还无法满足文字输入和精确鼠标控制的需求。同时，目前的手势检测、指尖定位等图像处理技术大部分是基于近距离、简单背景的，还有一部分是特殊应用场景的。适用于电视交互的远距离、复杂背景的手势分割、检测等图像处理技术还有待研究。由于电视行业对新型人机交互方式的迫切需求，目前出现了多种电视人机交互技术。其中，基于视觉的非接触人机交互是目前的主流之一。

国外已经有实验室和公司进行新型电视人机交互研究，并且结合电视、游戏机等产品推出了一些概念产品，而国内电视厂商也推出了部分手势控制概念产品。目前推出的基于视觉电视交互技术把图像处理技术应用到了电视交互方面，使交互更加人性化，更加自然。不过还存在一些不足，交互方式基本通过手势控制电视，这种模糊的控制，还无法满足文字输入、鼠标控制的精确控制功能。在频道选择功能上，也颇不方便。日立、松下和东芝等日本企业已经推出了基于手势控制的电视样机。日立在2010年发布了一款手势电视的样机，通过挥动手臂就能开关电视、换台、浏览并选择多媒体视频窗口，而无需遥控器。松下已经开发出EZ Touch手势遥控技术，透过量测光的“飞行时间”（近红外光源发出的光线反射到CCD影像感测器所需要的时间）来感测手势。英国剑桥东芝实验室的科学家开发出了一种被称作“互动影像”新技术，仅仅依靠手势即可对电视频道进行切换和调控。微软推行的Natal计划，其中一部分就包含了用于电视的基于视觉的动作操作方式。谷歌推出的Google TV在设计上也考虑了新型操作方式的问题。Kinect技术利用深度摄像头，可以测出目标的深度信息，从而在复杂背景中分割人体 ，目前已经在微软的Xbox游戏设备中使用。2011年1月，海信集团在美国 CES 消费电子展上展示了最新智能感应触控电视 Hi-Touch。Hi-Touch具有通过手势控制电视换台、浏览等功能。2010年的11月，康佳发布了多功能人机交互电视的一款概念机型，采用计算机视觉技术，通过手势控制电视。

随着人机交互技术和电视的发展，已经发展了很多新的电视人机交互技术。特别是基于视觉的人机交互技术成为电视人机交互技术的一个主流。目前发展的电视人机交互技术突破了传统的按键式方法，更加自然。不过，尚无法满足文字输入的要求；鼠标控制方面也还存在缺陷；同时，通过手势控制频道也不是很方便，目前电视存在几十上百个频道，通过手势控制频道是一个比较繁琐的事情。因此，提供一种基于手写输入和指尖鼠标的电视人机交互方法，可以较好的解决这些问题。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种基于手写输入和指尖鼠标的电视人机交互方法，其核心是基于双摄像头的远距离实时手势分割和检测以及指尖定位。基于图像的交互方法是一种自然的交互方式。本发明可以减少手势检测和指尖定位的运算量，降低电视屏幕光线变化对指尖定位的影响，采用在线的方式对食指分割的阈值进行动态调整，满足电视人机交互操作实时性的要求，具体技术方案如下。

一种基于手写输入和指尖鼠标的电视人机交互方法，具体包括以下步骤：

步骤一：图像采集，将两个相同型号的摄像头固定在一个装置上或者安装在电视机内，期间需要保证两个摄像头之间没有相对位移，双目摄像头同步采集视频数据流。

步骤二：图像三维重建，图像重建是利用双目立体视觉技术来实现，包括摄像头标定和重建两个步骤。标定的目的是为了获得摄像头的内部参数和外部参数，且采用基于人工标定的视觉方法来实现。

步骤三：前景分割，人手位于摄像头特定的距离内，这样人手前景就可以和人的身体以及其它背景分离开来，这种基于深度信息的前景分割不受人体肤色和光照的影响，具有较高的鲁棒性。