[发明专利]虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置

说明书

本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置，根据获取到眼动数据，进行注视点跟踪；根据获取的手势信息，进行手势的识别，对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络‑长短期记忆网络模型，所述网络模型利用训练集进行自我学习；将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题，并利用深度学习算法的优势，以较高的准确率识别视频中操作人员的行为，完成虚拟装配任务，实现人机交互。

技术领域

本公开属于人机交互技术领域，具体涉及一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着信息技术的发展，人机交互逐渐由以机器为中心向以人为中心转变，即在虚拟环境中，机器作为辅助工具辅助人完成交互的任务。与此同时，虚拟现实技术也在迅速发展，虚拟装配作为虚拟现实技术的一项应用，广泛应用在产品设计验证和计算机辅助装配规划上。虚拟装配利用数据处理、人机交互和可视化等技术，使得产品的研发直接从设计阶段进入虚拟产品阶段，通过虚拟的人-机模型来完成相关的工效分析、设计、分析与评价，从而得出合理的装配序列、路径，并检验了产品的装配过程以及装配的可达性、可维修性和可视性。

虚拟装配技术在很大程度上解决了人工装配方式在人力、物力方面消耗量大的不足，以及消除了人工装配方式存在的操作危险性。另外虚拟装配技术不依赖于时间和地点，只要满足设备条件要求，任何时间和地点都可以完成虚拟装配的过程，大大降低了人工装配的成本。

交互技术在虚拟装配中具有重要的作用。当前虚拟装配中常用的交互技术一是传统的交互方法，比如利用鼠标、触屏、红外线笔等进行虚拟场景中的交互；二是利用手势识别进行交互，实现虚拟场景中物体的移动和拆卸等操作。而这些交互方式在交互的自然性、准确性方面都存在一定的不足。

发明内容

本公开为了解决上述问题，提出了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置，本公开通过眼动跟踪和手势识别两种模态的融合，减少单一模态下相似行为的误判率，在一定程度上提高了虚拟装配的精确度；其次，眼动跟踪与手势识别融合的方式选择深度学习算法实现，构建多流卷积神经网络-长短期记忆网络(ConvolutionalNeural Networks-Long Short-Term Memory,CNN-LSTM)模型，利用深度学习自身优势，通过自我学习提取眼动与手势特征，发挥LSTM处理视频序列的优势，提升实现虚拟装配场景下交互的准确性和自然性；再次，对原始视频数据进行处理，输入数据一是仅包括眼动信息的视频序列，二是仅包括手势信息的视频序列，消除视频中的多余信息，提取关键特征，降低了网络模型的复杂度。

根据一些实施例，本公开采用如下技术方案：

一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，包括以下步骤：

根据获取到眼动数据，进行注视点跟踪；

根据获取的手势信息，进行手势的识别；

对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络-长短期记忆网络模型，所述网络模型利用训练集进行自我学习；

将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。

作为可选择的实施方式，根据获取到眼动数据，进行注视点跟踪的具体过程包括：

获取眼睛图像；