[发明专利]一种基于手持设备的大屏幕交互方法

说明书

技术领域

本发明属于人机交互领域，具体地涉及一种基于手持设备的大屏幕交互方法。

背景技术

大屏幕显示设备在现代办公、会议等公共场合出现的越来越多，应用也越来越广泛，如大屏幕显示器，会议投影等都是典型的大屏幕。然而目前面向大屏幕显示计算机系统间的交互方式却不够丰富，最为常见的交互设备主要是鼠标、键盘等传统设备，而大屏幕则与用户之间通常具有一定的空间距离，用户不能离开交互输入设备；此外也有部分大屏幕显示设备支持直接的触屏操作(如Microsoft的surface)，但由于显示面积大，用户不能轻易的在原地直接操纵整个大屏幕，需要依赖传统输入设备或者改变自身的位置。从交互场景来讲，基于传统鼠标键盘的大屏幕交互和基于触屏设备的大屏幕交互是具有明显区别的：前者(如会议，演讲等)通常会出现这样一种情况，用户需要在较大的活动空间内与设备进行交互，而后者适用于用户在固定的位置上(比如电脑屏幕前)与设备进行交互。如果在大屏幕交互场景下使用常用的桌面交互方式，用户的活动范围就会受到固有交互方式的限制(比如键盘鼠标不适合四处移动位置等)。本发明就是用来解决这一问题。

随着技术的进步，以手机(移动电话)为代表的移动设备日益成为人们生活中必不可少的电子设备之一，而这些手持移动设备在保持传统手机良好的便携性外，其计算能力、图形处理能力也得到了大幅增强。一些智能手机也集成了加速度计、陀螺器、电子罗盘等传感设备，并且支持单点或多点触摸，除去作为通讯设备这一核心功能，手机本身的功能也呈现多样化。其中，引人注目的两类应用是在增强现实和普适计算领域，把智能手机作为输入/输出设备。另一方面，智能手机(Smart Phone)可通过无线方式与网络连接，使用户可以随时随地按需访问各种信息和服务，是一种典型的信息访问终端，并且被认为是当前普适计算的首选平台。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于手持设备的大屏幕交互方法，使得用户在与大屏幕交互的过程中，如会议报告演示场景中，能够在一定程度上摆脱传统交互方式对用户活动范围的束缚，极大地改善这些环境下的用户体验。

为实现上述目的，我们提出的基于手持设备的多分辨率大屏幕交互方法具有如下特性：

1.借鉴了多分辨率思想；

2.支持低分辨率定位和高分辨率定位；

3.支持基于手机运动跟踪的自然交互；

4.支持基于触屏手势识别的精确交互；

5.支持基于手持设备上的输入和输出；

6.支持交互映射方式的扩展。

本发明的技术方案为：

一种基于手持设备的大屏幕交互方法，其步骤为：

1)建立大屏幕服务器与客户端之间的连接后，客户端将大屏幕的网格数目配置发送至服务器端；

2)服务器端根据网格数目配置对大屏幕进行划分，并得到每个网格十字交点的屏幕坐标；

3)服务器端将当前光标所在网格编码发送给客户端，客户端以此初始化交互界面；所述网格编码为网格单元在大屏幕显示区域中的位置，与网格单元一一对应；

4)移动客户端，并将移动过程中客户端实时采集的图像发送到服务器端；

5)服务器端从收到的图像中提取出图像序列，估算客户端的位移，并将客户端的位移映射为光标在大屏幕以网格为单位的移动；

6)移动客户端使大屏幕的光标定位到大屏幕的某网格区域后，客户端将交互界面切换到大屏幕当前网格区域；操纵客户端的交互界面，并将输入的控制信息发送给服务器端；

7)服务器端根据收到的控制信息，在大屏幕当前网格范围内执行交互操作。

进一步的，所述客户端将交互界面切换到大屏幕当前网格区域的方法为：

1)客户端将所选区域的位置坐标发送给服务器端，向服务器端请求该区域的详细内容；

2)服务器端收到请求数据后，从中提取出所请求网格和网格位置，然后抓取指定网格区域的屏幕图像，压缩编码后打包发送给客户端；

3)客户端解析所收到数据包中的图像数据，并以之更新客户端的操作界面。

进一步的，所述服务器端根据收到的控制信息，在大屏幕当前网格范围内执行交互操作的方法为：

1)服务器端从收到的控制信息中解析出所请求网格、网格位置和控制信息；

2)服务器端将控制信息转化为相应的交互原语，确定交互原语后，服务器执行交互操作。

进一步的，服务器端估算客户端的位移的方法为：