[发明专利]虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置有效
| 申请号： | 201910670994.0 | 申请日： | 2019-07-24 |
| 公开（公告）号： | CN110362210B | 公开（公告）日： | 2022-10-11 |
| 发明（设计）人： | 杨晓晖;察晓磊;徐涛;冯志全;吕娜;范雪 | 申请（专利权）人： | 济南大学 |
| 主分类号： | G06F3/01 | 分类号： | G06F3/01;G06V40/20;G06V40/10;G06V40/18;G06V10/764 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 李琳 |
| 地址： | 250022 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置，根据获取到眼动数据，进行注视点跟踪；根据获取的手势信息，进行手势的识别，对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络‑长短期记忆网络模型，所述网络模型利用训练集进行自我学习；将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。解决了单一模态下对相似行为的误判问题，并利用深度学习算法的优势，以较高的准确率识别视频中操作人员的行为，完成虚拟装配任务，实现人机交互。 | ||
| 搜索关键词： | 虚拟 装配 融合 跟踪 手势 识别 人机交互 方法 装置 | ||
【主权项】：
1.一种虚拟装配中融合眼动跟踪和手势识别的人机交互方法，其特征是：包括以下步骤：根据获取到眼动数据，进行注视点跟踪；根据获取的手势信息，进行手势的识别；对得到的手势识别数据和眼动数据进行标注，构成训练集，构建多流卷积神经网络‑长短期记忆网络模型，所述网络模型利用训练集进行自我学习；将训练得到的最优网络模型应用在虚拟装配过程，获取虚拟装配过程的眼动数据和手势信息，提取眼动与手势特征，根据特征信息分析得出操作人员的行为类别进而完成装配任务。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于济南大学，未经济南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910670994.0/，转载请声明来源钻瓜专利网。
