[发明专利]基于图像识别的信息输入系统

说明书

本发明提出了一种信息输入系统，根据对包含手指动作视频图像的分析，生成相应动作代表的敲击键盘输入信息，以及点击、移动鼠标输入信息，结合常用信息输入规则并学习用户输入习惯，在不使用实体键盘、鼠标的情况下完成信息输入。

技术领域

根据对包含手指动作视频图像的分析，生成相应动作代表的敲击键盘输入信息，以及点击、移动鼠标输入信息。本发明涉及一种信息输入系统，该系统包含对手指动作进行识别和信息输入内容判断的处理方法。

背景技术

智能图像处理在目标识别方面的应用非常成熟，随着机器学习的技术进步，使用计算机可方便地对视频中的物体或人体动作进行识别。本发明通过对人的手指及手指动作的识别，判断操作人员意图输入信息的方式及内容，进而实现在不使用实体键盘和鼠标的情况下完成信息输入。

发明内容

常规的信息录入设备、计算机等设备，大部分使用键盘和鼠标作为信息录入工具和途径。使用过程中，便携性以及信息录入的灵活性会受到硬件设备的限制。随着云计算的普及和计算机等常规数据处理设备的体积、功耗越来越小，使得用户移动办公或便携式信息处理成为可能。但是受限于实体键盘、鼠标尺寸，信息录入这一步骤成为制约移动办公和便携式信息处理的瓶颈。

本发明基于这样一种认识：使用摄像机对手指进行成像、识别，通过分析手指动作，结合常用信息输入规则并学习用户输入习惯，在不使用实体键盘、鼠标的情况下完成信息输入。

为此，本发明提供了一种分析手指模拟敲击键盘动作和操作鼠标动作，完成信息输入的方法。这种方法总体上符合这样一个流程：获取包括手指的视频图像，识别手指，分析手指动作得到候选操作种类，结合上下文对候选操作进行加权评分，结合输入习惯对候选操作进行加权评分，根据用户反馈进行修正并输出最终结果，将最终结果进行训练。

附图说明

图1是本系统的处理流程图。

图2是系统识别的按标准打字指法放置的手指及对应的按键划分区域示意图。

图3是系统识别的按标准打字法分开放置的左右手手指示意图及对应的按键划分区域示意图。

具体实施方式

本系统包含5个模块，它们分别是：视频图像获取模块，手指检测模块，手指动作分析模块，交互反馈模块，训练学习模块。

视频图像获取模块实现对包含手指的场景进行成像。其成像方式可以是由单个摄像头生成的二维平面图像，也可以是由双目摄像头生成的三维立体图像。其中二维平面图像中，系统根据手指在图像中的大小以及位置变化判断手指的运动状态；在三维立体图像中，系统根据手指的空间位置变化判断手指的运动状态。

成像后的视频输入给手指检测模块，手指检测模块使用图像识别算法检测出视频中的手指，并识别出手指的左右手以及手指名称。其中图像识别算法可以采用经典的分类器训练方法，也可以使用基于深度学习的手、手指识别算法。

手指动作分析模块追踪每个手指的运动情况。系统根据相邻两帧画面中同一个手指位置的变化量得到手指运动速度，再由相邻两帧图像中同一手指的运动速度生成手指的加速度信息。根据手指加速度、手指间相对运动状态判断手指是否进行了信息输入操作。

交互反馈模块在操作人员完成最终的触发操作(如键盘敲击或鼠标点击动作)前，或完成此次动作后进行下一次操作前，将系统判断的输入信息显示在显示器设备上。当用户认为系统对输入信息判断不准确时，可移动正在执行操作的手指的位置以选择目标操作对象(即键盘敲击的按键或鼠标点击的位置)。当用户完成操作触发后，系统根据手指的运动轨迹、触发操作位置、手指间相对运动状态判断此次的目标操作对象，并生成对应的信息输入指令给计算机或信息录入设备。