[发明专利]一种面向虚拟实验的多模态语义融合人机交互系统和方法在审
申请号: | 202010509144.5 | 申请日: | 2020-06-07 |
公开(公告)号: | CN111665941A | 公开(公告)日: | 2020-09-15 |
发明(设计)人: | 冯志全;李健;杨晓晖;徐涛 | 申请(专利权)人: | 济南大学 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06K9/00;G10L15/18;G10L15/22;G10L15/26 |
代理公司: | 北京中索知识产权代理有限公司 11640 | 代理人: | 邹长斌 |
地址: | 250022 山东省济南*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种面向虚拟实验的多模态语义融合人机交互系统和方法,包括交互信息集成模块,还包括交互信息获取模块、交互意图推理模块和交互任务直行模块,其中,所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图,并将获取到的信息提供给交互意图推理模块;所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图,预测潜在的交互行为;所述交互任务执行模块根据交互意图推理模块预测的交互动作,生成用户期望的实验动作,生成响应的实验效果,返回对应的操作反馈,最后,实验效果和反馈通过不同的通道输出给用户。本发明解决了当下虚拟实验中面临的交互困难的问题。 | ||
搜索关键词: | 一种 面向 虚拟 实验 多模态 语义 融合 人机交互 系统 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于济南大学,未经济南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010509144.5/,转载请声明来源钻瓜专利网。