[发明专利]基于图像识别的信息输入系统

权利要求书

1.一种信息处理系统，通过识别手指动作判断输入的信息，其中包含以下步骤：获取包含手指的视频图像，识别图像中的手指，分析手指动作，判断输入信息的反馈以及完成输入后的训练。

2.根据权利要求1的系统，包含手指的视频图像包括二维平面图像以及三维立体图像。

3.根据权利要求2的系统，当输入的视频图像为二维平面图像时，手指进行敲击动作过程中，手指的位置由图像中手指的坐标、手指尺度大小变化、手指间相对位置变化三个因素确定；当输入的视频图像为三维立体图像时，手指的位置由三维空间坐标直接得到。

4.根据权利要求1的系统，手指的动作分析步骤要求用户进行键盘敲击动作时使用标准打字指法。

5.根据权利要求4的系统，在手指进行敲击动作前，手指的状态为待命状态，此状态下系统以左、右手手指位置为基础，按标准打字指法划分按键区域。

6.根据权利要求1的系统，以相邻两帧视频图像中手指位置变化作为手指运动速度，以速度变化率为手指加速度，系统通过检测手指加速度的峰值，判断手指敲击桌面的时刻，同时判断手指敲击按键的位置，通过检测到手指敲击桌面后的抬起动作，判断敲击按键动作的结束。

7.根据权利要求6的系统，当检测到手指加速度的峰值，并判断手指敲击桌面动作后，手指没有抬起，并进行了滑动操作，则系统判断当前的操作为鼠标移动操作。

8.根据权利要求1的系统，手指敲击按键的位置判定过程中，将识别的敲击按键结果显示在显示器设备上，当识别的结果与用户操作目的不一致时，用户移动手指位置来纠正识别结果。

9.根据权利要求1的系统，每次完成手指按键敲击识别后，系统将包含敲击动作起始时手指姿态以及敲击动作结束时手指姿态的图像进行基于深度学习的训练。

10.根据权利要求1的系统，手指敲击按键操作的识别结果由三部分确定：以预先划分的按键区域为基础，识别的手指敲击动作的位置：根据训练的手指姿态识别算法所识别的敲击按键结果；用户根据系统识别的按键操作进行纠正后的结果。