[发明专利]利用手持终端进行光标定位的方法、手持终端和电子设备

说明书

一种利用手持终端进行光标定位的方法、手持终端和电子设备(300)。所述手持终端上设置有摄像头(202)，所述方法包括：接收电子设备(300)的显示屏(100)上当前播放的视频图像(21)作为参考图像(10)，并通过所述摄像头(202)拍摄采集图像(20)(Sll)，所述采集图像(20)内包含所述电子设备(300)的显示屏(100)上当前播放的视频图像(21)的部分或全部；根据所述采集图像(20)和所述参考图像(10)构建变换矩阵(S12)；以及根据所述变换矩阵，将所述采集图像(20)中的一点转换为显示屏(100)的光标位置(12)(S13)。所述方法实现了通过图像技术实现光标定位功能。

技术领域

本公开涉及界面交互技术，具体涉及利用成像设备实现在屏幕上定位的方法和装置。

背景技术

随着人机交互技术的不断发展，和电子设备例如计算机、电视机等设备的交互手段已不再依赖鼠标输入。目前，利用成像设备来实现人机交互输入的技术越来越具有实践价值。例如，现有技术提供了一种利用图像定位的方法，通过在电视周围环境中布置特定图案，或者在屏幕上显示特定图案，凭借这些图案，在摄像头采集的图像中定位屏幕的位置，计算摄像头与屏幕的投影关系，继而定位光标位置。

但该方法需要在环境中布置图案，增加了用户的使用门槛，而在屏幕中显示特定图案又会干扰用户的正常显示。

发明内容

有鉴于此，本公开提出一种易于使用的方案，不用对周围环境做特别的设置，或者改变现实的内容，仅使用界面上显示的参考图像，就定位参考图像在采集图像中位置，实现直观的光标坐标控制。

根据本公开的第一方面，提供一种利用手持终端进行光标定位的方法，所述手持终端上设置有摄像头，包括：

通过所述摄像头拍摄采集图像，所述采集图像内包含所述电子设备的显示屏上当前播放的视频图像的部分或全部；

接收电子设备的显示屏上当前播放的视频图像作为参考图像；

根据所述采集图像和所述参考图像构建变换矩阵；以及

根据所述变换矩阵，将所述采集图像中的一点转换为显示屏的光标位置。

优选地，所述采集图像中的一点为固定点。

优选地，将所述固定点为所述采集图像的中心点。

优选地，所述采集图像中的一点为浮动点。

优选地，将所述采集图像的中心点和目标图像的中心点连接成直线，选取所述直线上的一点作为所述浮动点，其中，将所述采集图像中包含的所述显示屏当前播放的视频图像的部分或全部作为目标图像。

优选地，所述方法还包括：从所述摄像拍摄的多张采集图像中选择和所述参考图像具有相同的时间戳的采集图像作为第一采集图像；

则所述根据所述采集图像和所述参考图像构建变换矩阵包括：

以所述第一采集图像和所述参考图像构建变换矩阵。

优选地，所述根据所述采集图像和所述参考图像构建变换矩阵包括：

以所述电子终端的显示屏构建参考坐标系，以所述采集图像所在的成像平面构建摄像头坐标系；

采用ASIFT算法获取所述采集图像和所述参考图像在各自的坐标系内的匹配的特征点，其中，所述特征点大于4组，且不在一条直线上；以及

根据所述匹配的特征点构建所述变换矩阵。

优选地，所述手持设备为遥控器、移动电话或PAD，所述电子设备为电视机或计算机。

根据本公开的第二方面，提供一种手持终端，所述手持终端上设置有摄像头，包括：