[发明专利]一种基于蒸馏关系的抽取加速方法及装置在审
| 申请号： | 202110666649.7 | 申请日： | 2021-06-16 |
| 公开（公告）号： | CN113344205A | 公开（公告）日： | 2021-09-03 |
| 发明（设计）人： | 苏华权;周昉昉;廖鹏;蔡雄;易仕敏;彭泽武;杨秋勇 | 申请（专利权）人： | 广东电网有限责任公司 |
| 主分类号： | G06N5/02 | 分类号： | G06N5/02;G06F16/35;G06F16/36 |
| 代理公司： | 北京世誉鑫诚专利代理有限公司 11368 | 代理人： | 任欣生 |
| 地址： | 510000 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 蒸馏 关系 抽取 加速 方法 装置 | ||
1.一种基于蒸馏关系抽取的加速方法，其特征在于，包括：
训练基础模型T1；
将基础模型T1设为教师模型，学生模型S1向教师模型T1输入学习参数；
采用损失函数，计算所述学生模型S1对软标签和硬标签的损失，调整所述软标签和硬标签的权重，其中，教师模型T1的预测输出数据的标签为软标签，教师模型T1的真实数据的标签为硬标签。
2.根据权利要求1所述的一种基于蒸馏关系的抽取加速方法，其特征在于，所述生模型S1向教师模型T1输入学习参数，包括：
使用学生模型S1学习教师模型T1的评定参数。
3.根据权利要求1所述的一种基于蒸馏关系的抽取加速方法，其特征在于，所述调整所述软标签和硬标签的权重，包括：
在模型蒸馏过程中，调整所述软标签和硬标签的权重。
4.根据权利要求1所述的一种基于蒸馏关系的抽取加速方法，其特征在于，所述调整所述软标签和硬标签的权重，包括：
设软标签权重为lambda，硬标签权重为1-lambda，学习过程中减小lambda，其中，lambda为正则化参数。
5.根据权利要求1所述的一种基于蒸馏关系的抽取加速方法，其特征在于，所述损失函数为加权交叉熵损失函数。
6.一种基于蒸馏关系抽取的加速装置，其特征在于，包括：
训练单元，用于训练基础模型T1；
输入单元，用于将基础模型T1设为教师模型，学生模型S1向教师模型T1输入学习参数；
计算单元，用于采用损失函数，计算所述学生模型S1对软标签和硬标签的损失，调整所述软标签和硬标签的权重，其中，教师模型T1的预测输出数据的标签为软标签，教师模型T1的真实数据的标签为硬标签。
7.根据权利要求6所述的一种基于蒸馏关系的抽取加速装置，其特征在于，所述生模型S1向教师模型T1输入学习参数，包括：
使用学生模型S1学习教师模型T1的评定参数。
8.根据权利要求6所述的一种基于蒸馏关系的抽取加速装置，其特征在于，所述调整所述软标签和硬标签的权重，包括：
在模型蒸馏过程中，调整所述软标签和硬标签的权重。
9.根据权利要求6所述的一种基于蒸馏关系的抽取加速装置，其特征在于，所述调整所述软标签和硬标签的权重，包括：
设软标签权重为lambda，硬标签权重为1-lambda，学习过程中减小lambda，其中，lambda为正则化参数。
10.根据权利要求6所述的一种基于蒸馏关系的抽取加速装置，其特征在于，所述损失函数为加权交叉熵损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司，未经广东电网有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110666649.7/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种链锯切割机
- 下一篇：一种Fascaplysin类化合物的应用
