[发明专利]一种跨模态任务指令理解的指读方法及系统有效
| 申请号： | 202310237418.3 | 申请日： | 2023-03-07 |
| 公开（公告）号： | CN116070173B | 公开（公告）日： | 2023-07-18 |
| 发明（设计）人： | 周智慧;朱开元;朱世强;程超;顾建军 | 申请（专利权）人： | 之江实验室 |
| 主分类号： | G06F18/25 | 分类号： | G06F18/25;G10L15/26;G06F18/2431;G06V40/10;G06V30/14;G06V10/82;G06F3/01 |
| 代理公司： | 杭州天勤知识产权代理有限公司 33224 | 代理人： | 曹兆霞 |
| 地址： | 311121 浙江省杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种跨模态任务指令理解的指读方法及系统，包括：对采集的音频数据进行语音识别得到文本数据；基于文本数据进行第一层任务分类得到第一层任务标签；在第一层任务标签为问题回答时，依据捕获图像确定指尖位置及指向信息；基于捕获图像进行目标检测得到候选视觉实体，基于指尖位置及指向信息从候选视觉实体中筛选目标视觉实体；依据目标视觉实体进行第二层任务分类确定第二层任务标签；依据第二层任务标签进行第二层任务规划并执行二层任务，该方法和系统通过将视觉确认与实体确认作为补充，以捕获缺失的代词指代对象信息，实现指代消解，帮助完成对跨模态指令的任务理解。 | ||
| 搜索关键词： | 一种 跨模态 任务 指令 理解 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于之江实验室，未经之江实验室许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310237418.3/，转载请声明来源钻瓜专利网。
- 上一篇：光学影像镜片组
- 下一篇：接船口、登船桥、护栏控制方法、存储介质及电子设备
