[发明专利]基于Reders模型的手势识别方法

说明书

本发明公开了基于Reders模型的手势识别方法，具体包括以下步骤：选择训练数据集，借助IPN Hand数据集以及自行拍摄的少量视频数据作为训练数据集；使用MediaPipe框架对训练数据集中的视频进行逐帧的手部姿态估计，提取到多帧手势信息；采用基于人体姿态估计的光流算法，将提取到的手势信息转换成时序数据信息；建立孪生网络，将处理得到的时序光流数据输入，进行训练及优化得到预训练模型；将预训练模型进行迁移训练，得到最终模型。本发明采用了孪生网络架构，在解决了因数据集不完备导致的小样本学习问题的同时，为后续拓展增添新的手势动作提供了方便快捷高效的解决方案。

技术领域

本发明涉及手势识别技术领域，尤其涉及基于Reders模型的手势识别方法。

背景技术

在当代会议教学等场景中，对演示图像，如PPT、模型等的控制主要依靠诸如鼠标和键盘等实体介质，这一情况导致在会议过程中，与会者需要长时间待在可以直接控制到电脑的范围内，影响了会议展示的自由性。尽管已有一些无线翻页笔可以部分地解决上述问题，但控制器电量和不便的接收器限制了使用的便利性；同时，无线控制器无法提供如旋转和放大的功能，缺少灵活性。这涉及到如何实现更好的人机交互问题。

随着计算机设备的普及，人机交互在日常生活中的重要作用越来越凸显，该技术的发展将对计算机的使用起到积极影响，人们越来越重视研究用于跨域人机障碍的新技术。传统的人机交互基于键盘、鼠标、遥控器的控制设备，需要人们去适应计算机，按照规范实现交互。

随着技术的发展，人们正积极探索让计算机适应人类的更加智能的交互方式，研究的最终目标是将人机交互变得如同人与人交互一样自然。其中手势识别是实现人机交互的一个重要途径。长期以来，手势一直被认为是一种可以提供更自然、更有创意和更直观的与我们的计算机进行通信的交互技术。

手势识别作为人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性。目前国际上研究手势识别的大学与机构有美国的卡内基·梅隆大学(CMU)、加利福尼亚大学伯克利分校(UC Berkeley)以及麻省理工学院(MIT)等，微软、东芝、日立等商业公司也为该领域的研究做出了许多努力。国内对手势识别的研究主要集中于各大高校和研究院，有中科院软件研究所、微软亚研院，哈尔滨工业大学、上海交通大学等。

虽然手势识别在学术界已有较大的发展，但局限性也很明显：目前大多数研究者均将注意力集中在静态手势的识别工作上，连续动态手势识别还没有得到广泛的研究和应用部署。连续动态手势识别的难点主要在于对动态手势的有效识别和精准分类上：使用传统的神经网络，诸如CNN等，在时序数据的处理上常常需要很高的算力和极大的数据量，训练得到的模型也非常庞大，推理效率低。当前学术和应用领域需要一个轻量可扩展的动态手势识别系统，用以提高各场合下的人机交互效果。

市面上主流的会商演示控制系统着力于实现远程会议功能与中控功能，主打视频、聊天、录播、共享、投影等功能，忽略了在会议控制功能上进行人机交互方式上的改进。

因此，在具有较强集成性和简便性的基础上提出更高效的会议控制人机交互方式具有重要意义，而基于计算机视觉的手势识别则提供了一个实用而可靠的方法。

发明内容

本发明的目的在于克服现有技术的不足，设计了Reders模型：基于手部姿态估计和孪生LSTM网络的实时动态手势识别器(Real time dynamic gesture recognizer basedon hand pose estimation and siamese LSTM network)。

本发明的目的是通过以下技术方案来实现的：

基于Reders模型的手势识别方法，具体包括以下步骤：

选择训练数据集，借助IPNHand数据集以及自行拍摄的少量视频数据作为训练数据集；