[发明专利]一种基于手写输入和指尖鼠标的电视人机交互方法

权利要求书

1.一种基于手写输入和指尖鼠标的电视人机交互方法，其特征在于包括以下步骤：

步骤一，电视机内置或者分立的双目摄像头同步采集图像；

步骤二，利用双摄像头同步采集的两幅图像重建出具有深度信息的三维图像；

步骤三，利用上述三维图像的深度信息实现前景分割，从而完成手势图像与前景的分离；

步骤四，采用模板匹配的方法对手势拳头图像进行检测，拳头的特征值通过离线训练的方式得到，若成功检测到拳头图像，则用矩形框标记检测到的图像区域，同时记录矩形框的坐标，若遍历特定区域的图像仍未检测到拳头图像，则返回步骤一； 

步骤五，利用拳头与食指的肤色一致特征，结合步骤四检测的结果，对食指图像进行分割，继而对食指图像进行轮廓提取；

步骤六，求取食指轮廓曲线的切线斜率，斜率绝对值最小的切点即为指尖点，同时记录指尖点的坐标值；

步骤七，电视机内的指令执行模块根据指尖点的坐标变化对手势指令进行判断，并执行相对应的应用程序。

2.根据权利要求1所述的一种基于手写输入和指尖鼠标的电视人机交互方法，其特征是步骤一中的双目摄像头为同一型号，所有光学参数都一致，且其摄像头都为普通的网络摄像头。

3.根据权利要求1所述的一种基于手写输入和指尖鼠标的电视人机交互方法，其特征是步骤二的三维图像重建方法是利用双目立体视觉技术来实现。

4.根据权利要求1所述的一种基于手写输入和指尖鼠标的电视人机交互方法，其特征是步骤四的手势拳头图像检测是基于手势拳头图像的纹理特征，采用离线训练的方式获得手势图像的纹理特征值，最后通过遍历搜索特定图像区域的方式对手势拳头图像进行检测。

5.根据权利要求1所述的一种基于手写输入和指尖鼠标的电视人机交互方法，其特征是步骤五的食指分割是基于步骤四检测到的拳头区域与食指具有一致的肤色特征，统计拳头区域肤色的直方图分布特征，根据统计结果设定阈值，继而对拳头上方的食指区域的像素进行阈值分割，根据阈值处理后剩下的像素总个数来判断是否存在食指，若剩下的像素总个数没有达到预先设定的阈值, 则认为食指不存在, 同时返回步骤一，若剩下的像素总个数达到了预先设定的阈值, 则认为食指存在；最终，对分割的结果进行二值化处理得到食指的轮廓。

6.根据权利要求1所述的一种基于手写输入和指尖鼠标的电视人机交互方法，其特征是步骤七利用指尖点坐标的滑动来完成手写输入和指尖鼠标的功能，电视内的交互式菜单界面会通过指尖鼠标和手写输入产生的操作指令完成对应的操作。

7.根据权利要求1~6任一项所述的一种基于手写输入和指尖鼠标的电视人机交互方法，其特征是步骤二至步骤六都通过FPGA来实现。