[发明专利]一种自然手势手指识别算法

说明书

本发明公开一种手指识别算法，涉及人机交互界面，尤其涉及人机交互界面中丰富输入原语和多点触控界面中操作手的判断和手指的识别，以解决现有识别算法依赖于特定设备、运算复杂度高、实时性较差等问题。该算法通过手指触点间的相对方位关系和距离大小等自然手势的信息识别手指在多点触控界面中的触点对应的手指，根据5个手指触点的几何中心点分别到大拇指和食指触点间向量的叉乘积的正负识别操作手是左手或是右手。本发明可以丰富多点触控界面中的输入原语，为人们在多点触控界面中实现盲打文本输入等“盲操作”人机交互和为盲人有效利用多点触控设备等提供便利并提高交互绩效。

技术领域

本发明涉及人机交互界面，尤其涉及人机交互界面中丰富输入原语和多点触控界面中操作手和手指的识别。

背景技术

小到智能手机、平板电脑，大到墙体大小的触控屏等多点触控屏设备在人们的日常工作、学习和生活中被广泛使用。触控屏既是输出设备又是输入设备。触控屏设备通常没有外置的鼠标、键盘等输入设备，人们在使用触控屏设备时，通常采用徒手在上面进行操作：这在一方面提供了操作的便利性；但在另一方面使得输入原语不够丰富，限制了人们的交互绩效。如人们在手机和平板电脑上输入文本时，现有的方法主要是单指点击软键盘进行输入，这种输入方式和双手通过物理键盘进行输入相比效率通常会很低。

如果能够识别触摸屏幕的手指，并判断操作手是左手或者是右手，则可以按照人们在标准键盘(QWERTY键盘)上输入的正确指法，将物理键盘上的字符分配给相应的手指：这样人们就可以在多点触控屏上实现类似于在物理键盘上的输入方式，其输入效率也可以接近于在物理键盘上的输入效率，还可以同样地进行盲打输入。通过手指识别还可以为多点触控屏提供更多的输入原语，使得人们在徒手操作时获取更多的交互指令。手指识别算法支持人们在多点触控屏上进行“盲操作”，可以为盲人使用多点触控屏提供极大的便利。

现有典型的识别方法需要特制的设备(如文献“Masson D,Goguey A,Malacria S,et al. Whichfingers:Identifying Fingers on Touch Surfaces and Keyboards UsingVibration Sensors[C]// Proceedings of the 30th Annual ACM Symposium on UserInterface Software and Technology. Quebec City,QC,Canada:ACM,2017:41-48.”)，或者相对于操作面特定安置的摄像头(如文献“Zheng J,Vogel D.Finger-Aware Shortcuts[C]//Proceedings of the 2016CHI Conference on Human Factors in ComputingSystems.San Jose,CA,USA:ACM,2016:4274-4285.”)：这样的条件在一般的触控设备上并不具备。基于图像处理的手指识别算法，运算复杂度较高，只有处理能力较高的设备才能实现手指识别较好的实时性。

发明内容

本发明提供一种基于手指在触控屏或其它操作面上的触点的手指识别算法，该算法包括根据一触点到其余4个触点的距离之和最大的识别为大拇指触点T，见图2和图3；计算其余触点到大拇指触点的距离，根据距离的大小识别食指触点I；计算5个触点的几何中心点C，根据以C点为起点，分别以大拇指触点T和食指触点I为终点的两向量的叉乘积的正负可以判定操作手为左手或右手；计算以C为起点，以其余3个手指为终点的3个向量，在到的转动方向上，3个向量对应的触点相应手指依次为中指、无名指和小拇指。

计算其余触点到大拇指触点T的距离大小，距离最小的触点为食指触点I，对应的手指为食指。

附图说明

图1为算法执行效果图，图中手指和其触点都用手指英文表示的首字母标识(即大拇指-T、食指-I、中指-M、无名指-R、小拇指-L，图2和图3中的手指以相同方式标识)；

图2为以右手为例的算法原理示意图，其中C为5个手指触点的几何中心点；