[发明专利]基于多模态融合的智能应答方法、装置、机器可读介质及设备在审
| 申请号： | 202011499081.6 | 申请日： | 2020-12-17 |
| 公开（公告）号： | CN112527962A | 公开（公告）日： | 2021-03-19 |
| 发明（设计）人： | 苏磊 | 申请（专利权）人： | 云从科技集团股份有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06F16/332;G06F16/35;G06F40/211;G06F40/216;G06F40/289;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 上海光华专利事务所(普通合伙) 31219 | 代理人： | 李铁 |
| 地址： | 511457 广东省广州市南*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于多模态融合的智能应答方法，包括：获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；对图像信息和文本信息进行特征提取，得到图像特征信息和文本特征信息；将所述图像特征信息与文本特征信息进行融合，得到融合模态数据信息；对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互系统能够生成更加完整、流畅的回答，并增加答句的语义丰富度和逻辑性。 | ||
| 搜索关键词： | 基于 多模态 融合 智能 应答 方法 装置 机器 可读 介质 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于云从科技集团股份有限公司，未经云从科技集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011499081.6/，转载请声明来源钻瓜专利网。
