[发明专利]多模态数据处理方法、电子设备及存储介质在审
| 申请号： | 202111301728.4 | 申请日： | 2021-11-04 |
| 公开（公告）号： | CN114168780A | 公开（公告）日： | 2022-03-11 |
| 发明（设计）人： | 李涵 | 申请（专利权）人： | 卓尔智联（武汉）研究院有限公司 |
| 主分类号： | G06F16/583 | 分类号： | G06F16/583;G06F16/55;G06F40/289;G06F40/30;G06N3/04;G06N3/08 |
| 代理公司： | 北京派特恩知识产权代理有限公司 11270 | 代理人： | 张雪;张颖玲 |
| 地址： | 432200 湖北省武汉市黄陂区盘龙城经*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了一种多模态数据处理方法，包括：在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量；数据包括图像模态数据和文本模态数据；基于第一特征向量、第二特征向量分别确定第一损失值和第二损失值；第一损失值表征当前输入的数据的语义类别预测误差；第二损失值表征当前输入的数据与历史输入的数据之间语义相关性与距离的关联程度；语义相关性表示数据是否属于同一语义类别；基于神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值；第三损失值表征图像模态和文本模态之间的差异程度；基于第一损失值、第二损失值以及第三损失值训练神经网络模型。 | ||
| 搜索关键词： | 多模态 数据处理 方法 电子设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于卓尔智联（武汉）研究院有限公司，未经卓尔智联（武汉）研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111301728.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于物联网与云计算技术的智慧能源管理平台
- 下一篇：一种新型测功机
