[发明专利]虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置

权利要求书

1.一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，其特征是：包括以下步骤：

根据获取到眼动数据，进行注视点跟踪；

根据获取的手势信息，进行手势的识别；

对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络-长短期记忆网络模型，所述网络模型利用训练集进行自我学习；

在对数据进行标注时，根据眼睛注视点和手势识别结果的不同，对视频信息进行不同的标注；

搭建多模态融合的CNN-LSTM的网络模型的具体过程包括：

采用CNN提取每个视频帧的空间特征，以VGG-16网络为基础调整网络结构，包括13层卷积层，5层池化层和2层全连接层，为卷积层中间使用SELU激活函数来代替RELU函数；

采用LSTM提取时间特征，承接CNN部分，将CNN提取的特征作为LSTM网络的输入；

通过两层全连接层将多流CNN-LSTM网络提取的特征进行融合，对网络的每个分支赋予相应权重，使用softmax层得出最终分类结果；

使用标注数据对网络模型进行训练，确定最优网络模型；

将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。

2.如权利要求1所述的一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，其特征是：根据获取到眼动数据，进行注视点跟踪的具体过程包括：

获取眼睛图像；

采用Haar算法识别眼部区域，利用采用阈值法获得红外光源照射眼睛形成的普尔钦斑，采用Hough变换方法检测瞳孔中心；

建立瞳孔中心相对于普尔钦斑的位置与注视点相对于红外光源的位置之间的角度映射关系来精确估计注视点位置；

将估计得到的注视点位置以红色标注点的形式在虚拟场景中显示。

3.如权利要求1所述的一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，其特征是：根据获取的手势信息，进行手势的识别的具体过程包括：

a记录视频中操作人员手势位置信息；

b利用离散余弦变换进行边缘检测和YCbCr空间肤色模型相结合的方法分割手部区域；

c利用基于手势主方向及空间手势坐标点分布特征匹配算法实现手势识别；

d通过三维建模，在虚拟场景中构建手部模型，并根据以上步骤识别出的手势，进行同步显示。

4.如权利要求3所述的一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，其特征是：所述步骤b的具体过程包括：

利用DCT滤波屏蔽图像中的高频部分进而抑制噪声，利用边缘检测检测手部所有边缘点，将肤色映射到YCbCr空间，通过肤色模型分割手势，对分割出的肤色区域进行形态学闭运算处理，填充空洞使轮廓更加清晰，得到最终的手部区域。

5.如权利要求3所述的一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，其特征是：所述步骤c的具体过程包括：

根据手势主方向提取手势的特征向量，将提取的特征与样本库进行相似度量，选取M种相近的候选样本，采用类-Hausdorff距离模板匹配思想，从M种候选样本种识别最终手势。