[发明专利]一种基于迁移学习的动态手势识别虚拟交互系统

权利要求书

1.一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，包括动态手势获取模块、识别及控制模块和虚拟交互系统控制模块，所述动态手势获取模块用于提取手部特征和采集动态手势轨迹；所述识别及控制模块用于识别和分类动态手势轨迹，根据分类结果生成对应的控制信号并通过RPC发送至虚拟交互系统控制模块；所述虚拟交互系统控制模块用于接收并处理控制信号，进行多模态交互；

所述提取手部特征是基于Micrsoft Kinect获取的骨骼信息进行提取，首先定位到用户的腕关节，基于深度信息选定阈值，将处于腕关节周围的人体部分作为用户的手部，对选取的手掌区域选定外接圆，并计算手掌边缘到手掌外接圆圆心的距离，根据非极大值抑制的原则定位出指尖坐标；

所述采集动态手势轨迹是跟踪定位出的指尖位置，将动态手势获取过程中跟踪到的每帧指尖位置连接，形成指尖的移动轨迹，对其进行形态学处理，并截取包含轨迹的最小矩形区域，缩放成统一大小得到动态手势轨迹图片；

所述识别及控制模块采用深度迁移学习网络对动态手势轨迹图片进行分类；

所述深度迁移学习网络为DCORAL网络，其网络结构为AlexNet网络，并使用CORAL损失函数进行参数训练，得到分类网络模型；所述深度迁移学习网络采用源训练数据集与目标数据集进行训练，使用MNIST数据集作为源数据集，使用识别及控制模块采集的动态手写数字轨迹作为目标数据集；使用EnglishHud数据集作为源数据集，使用识别及控制模块采集的动态手写英文字母轨迹作为目标数据集；

所述DCORAL网络的训练需要源训练数据集D_S＝{x_i}，x∈R^d，其对应标签为L_S＝{y_i}，i∈{1,...,L}以及目标数据集D_T＝{u_i}，u∈R^d，其中x和u均为输入源域与目标域图片在末层全连接层的输出特征，其维数为d，i表示第i个样本，L表示训练集样本总数，y_i表示第i个样本所属的类别，R^d表示d维特征空间；

DCORAL网络的损失函数由分类误差l_CLASS与l_CORAL组成表达式为：

l＝l_CLASS+λl_CORAL (1)

其中λ表示权重，l_CLASS为利用源域训练时的交叉熵损失函数，用于初步拟合网络的参数；l_CORAL为CORAL损失函数，其作用为利用源数据集与目标数据集的协方差相似性对网络参数进行优化，l_CORAL的表达式为：

其中为表示平方矩阵Frobenius范数，其中C_S、C_T分别为源数据集和目标数据集的全连接层输出的协方差矩阵，表达式为：

其中1表示元素全为1的列向量，n_S表示源数据集的样本数量，n_T表示目标数据集的样本数量。

2.根据权利要求1所述的一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，所述识别及控制模块通过RPC协议将动态手势轨迹图片的分类结果发送给虚拟交互系统控制模块。

3.根据权利要求2所述的一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，所述虚拟交互系统控制模块控制基于Smartbody设计的虚拟人，根据识别及控制模块所发送的控制信号向用户做出多模态的交互。

4.根据权利要求3所述的一种基于迁移学习的动态手势识别虚拟交互系统，其特征在于，所述多模态的交互包括语音交互、动作交互与表情交互。