[发明专利]一种基于迁移学习的动态手势识别虚拟交互系统

说明书

本发明公开了一种基于迁移学习的动态手势识别虚拟交互系统，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互。本发明使用基于迁移学习训练的深度神经网络，能够对数字和英文字母进行识别，在降低了训练样本数量的同时将识别准确率提升，在识别到结果之后，虚拟人会通过肢体动作，语音以及面部表情实时得对用户进行反馈。

技术领域

本发明涉及动态手势识别领域以及虚拟交互领域，具体涉及一种基于迁移学习的动态手势识别虚拟交互系统。

背景技术

随着人机交互技术的发展，医疗行业、学校场景模拟、协商技巧训练、社交能力教学、游戏等领域都融入了人机交互技术。在众多的人机交互技术应用中，如何使人机交互的过程更加鲜活，更加趋近于人与人之间的交互是一个重要的问题。因此，研发具有动作交互、语音交互以及表情交互的多模态人机交互系统成为人机交互技术发展的热门方向。目前已有的虚拟交互系统研究，在实现动态手势交互功能时依靠可穿戴传感器达到良好的识别效果，但是通常会影响用户的体验(D.H.Kim,H.I.Choi,and H.K.Jin,“3d spacehandwriting recognition with ligature model,”in Ubiquitous Computing Systems,Third International Symposium,Ucs,Seoul,Korea,October,2006.)。所以，基于视觉传感器实现动态手势交互的方法被提出，但是往往面临识别效果欠佳的问题。传统分类方法对动作识别的效果远不如深度卷积神经网络，而使用卷积神经网络则需要花费大量的时间进行训练数据的采集才能保证识别效果(F.Liu,W.Zeng,C.Yuan,Q.Wang,and Y.Wang,“Kinect-based hand gesture recognition using trajectory information,handmotion dynamics and neural networks,”Artifificial Intelligence Review,vol.52,pp.563–583,Jun 2019.)。

发明内容

为解决上述技术问题，本发明提出一种基于迁移学习的动态手势识别虚拟交互系统。

本发明至少通过如下技术方案之一实现。

一种基于迁移学习的动态手势识别虚拟交互系统，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互。

优选的，所述提取手部特征是基于Micrsoft Kinect获取的骨骼信息进行提取，首先定位到用户的腕关节，基于深度信息选定阈值，将处于腕关节周围的人体部分作为用户的手部，对选取的手掌区域选定外接圆，并计算手掌边缘到手掌外接圆圆心的距离，根据非极大值抑制的原则定位出指尖坐标。

优选的，所述采集动态手势轨迹是跟踪定位出的指尖位置，将动态手势获取过程中跟踪到的每帧指尖位置连接，形成指尖的移动轨迹，对其进行形态学处理，并截取包含轨迹的最小矩形区域，缩放成统一大小得到动态手势轨迹图片。

优选的，所述识别及控制模块采用深度迁移学习网络对动态手势轨迹图片进行分类。

优选的，所述深度迁移学习网络为DCORAL网络，其网络结构为AlexNet网络，并使用CORAL损失函数进行参数训练，得到分类网络模型。