[发明专利]一种面向多模态多任务学习的轻量化适配网络学习方法在审
| 申请号： | 202310629849.4 | 申请日： | 2023-05-31 |
| 公开（公告）号： | CN116644316A | 公开（公告）日： | 2023-08-25 |
| 发明（设计）人： | 邵镇炜;金子添;余宙;俞俊 | 申请（专利权）人： | 杭州电子科技大学 |
| 主分类号： | G06F18/214 | 分类号： | G06F18/214;G06F18/24;G06N3/04;G06N3/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 310018 浙江省杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种面向多模态多任务学习的轻量化适配网络学习方法，包括如下步骤：1、构建下游任务数据集，2、构建深度自注意力网络模型，3、预训练权重裁剪，4、构建任务适配器，5、适配预训练模型，6、设计渐进式引导蒸馏训练并训练模型。该方法对预训练模型部分权重进行裁剪，并采用高效的任务适配器与之适配。本发明提出了一种渐进式引导蒸馏训练算法以更好地填补预训练任务和下游任务之间的差异，保证了模型在下游任务上的性能。本发明可以与任何现有的基于深度自注意力网络的预训练模型相结合，通过训练得到在下游任务性能、模型部署时总存储开销、模型推理时计算开销和模型配置灵活性等方面均存在优越性的适配器模型。 | ||
| 搜索关键词： | 一种 面向 多模态多 任务 学习 量化 网络 学习方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学，未经杭州电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310629849.4/，转载请声明来源钻瓜专利网。
