[发明专利]一种目标键盘追踪系统及方法

说明书

本发明公开了一种目标键盘追踪系统及方法，应用于运动的智能眼镜与纸质键盘输入交互场景中；该系统包括：键盘追踪模块及自适应追踪模块；键盘追踪模块包括键盘的提取、特征点对选取、计算变换矩阵和键盘坐标转换；自适应追踪模块包括传感器数据获取、数据分段分析、判断状态并发送是否继续追踪的信号。本发明采用多线程优化技术来降低追踪处理的时延；实现了实时的键盘追踪，并且很好地满足用户的键盘交互输入需求。

技术领域

本发明属于视频处理和惯性感知技术领域，具体指代一种目标键盘追踪系统及方法，其应用于运动的智能眼镜与纸质键盘输入交互场景中。

背景技术

近年来，移动设备的外形和体积逐渐趋于便携小巧，人们一般比较排斥携带笨重庞大的笔记本电脑，而习惯于只带一部智能手机、智能眼镜或智能手表。但是，在这么小的智能移动设备上进行交互是一个很大的挑战，典型的痛点就是打字输入时没有物理键盘辅助，导致输入效率极低。

目前的解决方案主要有可穿戴键盘、屏幕键盘和基于声音的键盘输入。可穿戴键盘引入了额外的设备负担，导致用户体验不友好；屏幕键盘通常占用大面积的屏幕资源，在如今的智能眼镜和智能手表上部署很不现实；基于音频信号的键盘虽去除了额外的硬件负担，但它要求用户点击按键时用指尖和指甲发出很明显的刺耳声，这种不自然的输入方式也使用户体验很差。与此同时，智能手机和智能眼镜等移动设备上的内置传感器也越来越丰富，它们普遍配备有摄像头和惯性传感器，且传感器的能耗非常低，这为产生新的更便捷高效的输入交互方式提供了可能。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种目标键盘追踪系统及方法，以解决现有键盘输入带来的问题。本发明通过摄像头将智能眼镜和一张打印的普通纸质键盘建立连接，可以为用户提供类似物理键盘的输入体验，同时追踪输入交互过程中由于用户头部晃动造成的键盘坐标位置变化，并且根据低能耗的传感器监测设备的运动状态来完成自适应的追踪变换，以多模态感知数据融合的方式降低设备的能耗，最终实现高效率和低能耗键盘输入交互的场景应用。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种目标键盘追踪系统，其应用于智能眼镜设备中，包括：键盘追踪模块及自适应追踪模块，其中，

键盘追踪模块，其用于检测提取出键盘和按键的坐标，在连续的两帧间基于键盘固有的几何特征选取对应的四组特征点对，使用该四组特征点计算变换矩阵C，对前一帧的坐标[X_i,Y_i,1]通过左乘变换矩阵C计算得到当前帧的坐标[U_i,V_i,W_i]，对当前帧坐标做Z方向的压缩来转换键盘坐标；

自适应追踪模块，其通过惯性传感器采集智能眼镜设备的旋转运动数据，基于一个滑动窗口计算分析传感器数据，通过对滑动窗口内数据的均值和方差与给定的经验阈值比较，来判断是否继续进行目标键盘的实时追踪，并将产生的判断结果数据发送给上述键盘追踪模块。

进一步地，所述自适应追踪模块具体还包括：若判定的结果为智能眼镜设备处于运动状态，则发送开始追踪信号使键盘追踪模块继续追踪键盘坐标；若判定的结果为智能眼镜设备处于静止状态，则发送停止追踪信号使键盘追踪模块停止追踪。

进一步地，所述特征点对选取具体包括：

a.移除手部区域对特征点选择的影响：利用肤色检测分割出帧画面中可能出现的手，然后用背景白色填充来抹去手部区域；

b.提取键盘区域的凸包点：移除手部区域后检测剩余键盘的轮廓，根据轮廓结果提取键盘的凸包点序列，记为C；