[发明专利]一种预训练方法及相关方法和设备在审
| 申请号： | 202310093381.1 | 申请日： | 2023-01-18 |
| 公开（公告）号： | CN115952836A | 公开（公告）日： | 2023-04-11 |
| 发明（设计）人： | 张景宣;万根顺;付中华;潘嘉;高建清;刘聪;胡国平;刘庆峰 | 申请（专利权）人： | 科大讯飞股份有限公司 |
| 主分类号： | G06N3/0464 | 分类号： | G06N3/0464;G06N3/08;G06F18/25 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王云晓 |
| 地址： | 230088 安徽*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种预训练方法及相关方法和设备，其中，预训练方法包括：获取多模态训练数据；基于包括编码部分和辅助训练部分的学生模型，对多模态训练数据进行编码，得到第一编码结果，并基于第一编码结果预测特征；基于只包括编码部分的教师模型，对多模态训练数据进行编码，得到第二编码结果，并基于第二编码结果确定目标特征；以使基于第一编码结果预测的特征趋近于目标特征为目标，对学生模型进行参数更新，教师模型的参数随学生模型参数的更新而更新；训练结束后得到的学生模型作为目标预训练模型。本发明提供的预训练方法可适用于多模态数据应用场景，还可适用于单模态数据应用场景，且本发明提供的预训练方法具有较高的模型训练效率。 | ||
| 搜索关键词： | 一种 训练 方法 相关 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司，未经科大讯飞股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310093381.1/，转载请声明来源钻瓜专利网。
