[发明专利]基于语义表达与生理约束的手势编码方法及系统

说明书

本发明公开了一种基于语义表达与生理约束的手势编码方法及系统，涉及手势编码技术领域，包含可以表征动态手势和静态手势的一系列编码规则，解决了现有手势编码冗余过多的技术问题，其技术方案要点是根据语义表达编码规则和生理约束编码规则进行离散化的手势编码，能够方便计算机识别、转换和存储，将连续多变的手势转化为计算机语言，具有可解释性和可理解性，并可以在此基础上进行手势定义和手势交互系统开发。

技术领域

本公开涉及手势编码技术领域，尤其涉及一种基于语义表达与生理约束的手势编码方法及系统。

背景技术

随着技术手段的进步和人们对人机交互要求的逐渐提升，多通道自然交互方式逐渐成为人机交互发展的主流。手势是人类自然的表达方式，手具有高度灵活性，从而拥有丰富的编码空间，能够传递丰富的语义信息，是自然人机交互的重要组成部分。从理论上来说，人的手部各关节连续运动可以产生无限个手势动作，但是人手部的生理约束和有意的语义表达决定了有限的离散式有效手势。

在手势与手语的传播过程中，传达者需要特定的表述方式来向接受者描述手势，因而这一过程需要通过一种特定的媒介来实现。一个手势，通常可以使用多种方式来描述和表征，不同类型的受传者对于手势表述方式的需求也不尽相同。传播时，常用的媒介形式包括直观的手势演示和经过编码的手势数据。

面对面的动作展示及通过图片、视频等媒体文件的手势演示都可以被认为是直观的手势演示，如图1所示。传播者可以执行手势动作或播放演示相关的媒体文件并为受传者解释这一动作的含义以实现手势的传播，这种情况常发生在日常生活中，受传者可以是手势交互方式或手语的学习者，但是不同的人对于一个动作的理解具有一定的主观性，仅仅通过动作来传达往往不够严谨，尤其是对于科研或手势设计人员而言，因而在作出一个手势时需要较多的语言或文字陈述来明确这一手势。

经过编码的手势符号体系是另一种手势在日常生活中传播的重要媒介，常应用于聋哑人士之间或手势的研究人员之间，如图2所示。这一媒介形式将手势特征符号化，使得手势可以通过特定的符号组合来表达，与媒体传播形式相比占用的数据资源更少，也更为客观，不会因为理解上的差异而产生偏差，从这一点上来讲，这一编码方式是更适合科研与设计人员使用的方式，但同时它也存在着直观性不高、计算机难以输入和识别的缺陷。而除了经过编码的手势符号体系之外，另一种常用的编码方式是通过生理约束将手势数据化简，以更少的节点数据来表征手势，经常被用于手部运动模拟领域，常用的编码方式包括从语义学出发的手势编码和从运动学出发的手势编码。

从语义学出发的手势编码，即手势符号体系，其中被广泛认可的符号体系包括HamNoSys、Stokoe Notation以及SignWriting，其中，HamNoSys编码方案由于不受文化、地域的影响，能够表达丰富的手势，被应用的最为广泛。表1即为HamNoSys编码方案，不同的符号表示手指不同的弯曲状态，而手的其他状态和运动信息等同样可以通过符号一一映射，因而一组具有特定含义的手势动作可以被一组符号表述，通过这一编码体系，传播者和受传者可以通过书面符号书写的方式完成传播和交流。

表1

HamNoSys等编码体系属于离散编码的方式，用更加客观的形式来描述手势以及手部运动情况，对于熟练掌握的使用者来说是一种高效的方式，但是这类编码方式缺少对手部生理约束的考虑，这就导致了HamNoSys追求完善、全面的表征体系，从而引入了较多的无法执行的冗余手势编码。SignWriting对手势编码进行了简化，却又过于简单，其表征能力也随之下降，无法对某些手势进行有效的描述。上述问题也是从语义学出发的手势编码中最常出现的问题，同时，对于手势交互的研究设计人员来说，这类编码方案所需的学习成本过高，在计算机中的可输入性较差，使用这类编码方式会导致研究内容之外的过多的时间消耗。