[发明专利]经由头部姿态远程控制显示设备的方法、系统和计算机程序

说明书

一种用于远程控制计算设备(120)的方法，该方法包括：从视频帧中重复捕获图像；在捕获的图像中检测人脸；使检测到的人脸与先前检测到的人脸匹配；从匹配的检测到的人脸中提取脸部地标(140)；基于所提取的脸部地标估计匹配的检测到的人脸的3D头部姿势，3D头部姿势在自我中心坐标系(150)中由从人脸指向的3D姿势矢量表示，3D姿势矢量使用各自的旋转矩阵绕自我中心坐标系(150)的x‑轴、y‑轴和z‑轴自由旋转，并且使用平移矢量沿着自我中心坐标系(150)的x‑轴、y‑轴和z‑轴自由平移；以及根据估计的3D头部姿势，控制计算设备(120)的显示屏(170)上的用户界面。

技术领域

本公开涉及人机交互，特别地但不限于，涉及一种用于经由头部姿态远程控制显示设备的方法、系统和计算机程序。

背景技术

基于姿态的解决方案得以发展，从而允许以更自然的方式通过人机交互进行显示设备控制。

这些非语言解决方案中的大多数都基于需要使用户的手自由的手势，然而，在用户有残疾而使他/她无法移动他/她的手臂、手和/或手指的情况下，用户的手可能被约束。

从人体工程学的角度来看，经由手势在显示设备的交互式屏幕上执行选择通常需要用户在垂直和水平方向上移动他/她的手。然而，有限的手部动作范围可能会阻止用户到达屏幕上的每个位置，使得静态菜单仅出现在屏幕上的某些特定位置，以确保用户可以通过向着相应的菜单按钮移动他/她的手来执行他/她的选择。在某些环境中，例如在公共场所，特别是在拥挤的公共场所(例如，机场、火车站、购物中心等)，手的运动也可能受到限制。

因此，提出一种允许用户访问整个屏幕上的每个位置以控制显示设备的替代性人机交互变得具有挑战性。

发明内容

根据本文公开的第一方面，可以提供一种用于远程控制计算设备的方法。该方法可以包括从视频帧中重复捕获图像；在捕获的图像中检测人脸；使检测到的人脸与先前检测到的人脸匹配；从匹配的检测到的人脸中提取脸部地标；基于所提取的脸部地标估计匹配的检测到的人脸的三维(3D)头部姿势，3D头部姿势在自我中心坐标系中由从人脸指向的3D姿势矢量表示，3D姿势矢量使用相应的旋转矩阵绕自我中心坐标系的x-轴、y-轴和z-轴自由旋转并且使用平移矢量沿着自我中心坐标系的x-轴、y-轴和z-轴自由平移；以及根据所估计的3D头部姿势，控制计算设备的显示屏上的用户界面(UI)。

在第一方面的示例中，控制计算设备的显示屏上的用户界面可以包括：将计算设备的显示屏上的光标映射到所估计的3D头部姿势。

在第一方面的示例中，将计算设备的显示屏上的光标映射到所估计的3D头部姿势可以包括：将自我中心坐标系中的3D姿势矢量转换为显示屏的2D平面的坐标系中的2D姿势矢量。

在第一方面的示例中，将自我中心坐标系中的3D姿势矢量转换为显示屏(170)的2D平面的坐标系中的2D姿势矢量可以包括：将自我中心坐标系的3D头部姿势矢量轴投射到显示屏的2D平面上并且应用3D到2D映射功能，3D到2D映射功能利用基于旋转的信息。

在第一方面的示例中，基于旋转的信息可以是关于俯仰角和偏航角的朝向信息。

在第一方面的示例中，在应用3D到2D映射功能之后，可以以像素表示并由下式给出显示屏的坐标系中的2D姿势矢量的坐标(x_screen，y_screen)：

其中：

W表示显示屏的宽度(以像素为单位)；

H表示显示屏的高度(以像素为单位)；

f_x表示沿着显示屏的坐标系的x-轴的替换因子；