[发明专利]一种目标键盘追踪系统及方法

权利要求书

1.一种目标键盘追踪系统，应用于智能眼镜设备中，其特征在于，包括：键盘追踪模块及自适应追踪模块，其中，

键盘追踪模块，其用于检测提取出键盘和按键的坐标，在连续的两帧间基于键盘固有的几何特征选取对应的四组特征点对，使用该四组特征点计算变换矩阵C，对前一帧的坐标[X_i，Y_i，1]通过左乘变换矩阵C计算得到当前帧的坐标[U_i，V_i，W_i]，对当前帧坐标做Z方向的压缩来转换键盘坐标；

自适应追踪模块，其通过惯性传感器采集智能眼镜设备的旋转运动数据，基于一个滑动窗口计算分析传感器数据，通过对滑动窗口内数据的均值和方差与给定的经验阈值比较，来判断是否继续进行目标键盘的实时追踪，并将产生的判断结果数据发送给上述键盘追踪模块；

所述特征点对选取具体包括：

a.移除手部区域对特征点选择的影响：利用肤色检测分割出帧画面中可能出现的手，然后用背景白色填充来抹去手部区域；

b.提取键盘区域的凸包点：移除手部区域后检测剩余键盘的轮廓，根据轮廓结果提取键盘的凸包点序列，记为C；

c.先取出C中前两个凸包点P_begin和P_mid，若二者之间的距离小于10，表示二者非常靠近，不符合键盘的大小特征，此时更新P_mid为C中下一个凸包点，直至P_begin和P_mid之间的距离大于10；得到合适的P_begin和P_mid后，再从C中取出一个凸包点记为P_end；同上，若P_mid和P_end之间的距离小于10，则更新P_end为C中下一个凸包点，直至P_mid和P_end之间的距离大于10；

d.计算向量和向量的夹角，若夹角小于阈值8度，表示这三个凸包点方向相同，P_mid更新为P_end的值，返回步骤c)中继续取P_end；若夹角大于8度，表示这三个凸包点在P_mid处有明显的拐动，此时将P_mid作为检测到的特征点保存，并将P_begin更新为P_mid，P_mid更新为P_end，返回C中继续取P_end；

e.当遍历分析完凸包点集合C后，保存的凸包点的数量为四个或者五个；若为四个则直接作为检测到的特征点，跳转到步骤f)执行；若为五个则需进行如下的处理：五个凸包点按次序连线，按照直线斜率的绝对值大小排序；去除斜率值为中位数的直线，剩余的直线按照相对次序记为[l₀，l₁，l₂，l₃]，l₀和l₂、l₃相交，l₁和l₂、l₃相交共得到四个特征点，即检测到的特征点结果；

f.记连续两帧的凸包点集合为C₁和C₂，对C₁和C₂进行如上步骤b)-e)的操作，即可得到两组特征点，分别记为(X_i，Y_i)和(U_i，V_i)，0≤i≤3，按照横纵坐标值大小排序，将两组特征点按照左上、右上、左下、右下的顺序建立映射关系，得到四个特征点对(X_i，Y_i，U_i，V_i)。

2.根据权利要求1所述的目标键盘追踪系统，其特征在于，所述自适应追踪模块具体还包括：若判定的结果为智能眼镜设备处于运动状态，则发送开始追踪信号使键盘追踪模块继续追踪键盘坐标；若判定的结果为智能眼镜设备处于静止状态，则发送停止追踪信号使键盘追踪模块停止追踪键盘坐标。