[发明专利]改进自注意力模型的文本处理方法及装置在审
| 申请号： | 202310283224.7 | 申请日： | 2023-03-22 |
| 公开（公告）号： | CN116306791A | 公开（公告）日： | 2023-06-23 |
| 发明（设计）人： | 王芳;暴宇健 | 申请（专利权）人： | 北京龙智数科科技服务有限公司 |
| 主分类号： | G06N3/045 | 分类号： | G06N3/045;G06N3/08;G06N3/048;G06F16/35;G06F16/33 |
| 代理公司： | 北京嘉科知识产权代理事务所(特殊普通合伙) 11687 | 代理人： | 陈美君 |
| 地址： | 100020 北京市朝*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及文本处理技术领域，提供了一种改进自注意力模型的文本处理方法及装置。该方法包括：构建自注意力模型的嵌入层和线性层各自对应的第一矩阵和第二矩阵；利用嵌入层对应的第一矩阵和第二矩阵构建嵌入层的第一旁路网络，利用线性层对应的第一矩阵和第二矩阵构建线性层的第二旁路网络；对构建第一旁路网络和第二旁路网络后的自注意力模型进行训练：冻结自注意力模型中除第一旁路网络和第二旁路网络之外的其它网络层的网络参数，对第一旁路网络和第二旁路网络进行训练；利用训练后的自注意力模型执行文本处理任务。采用上述技术手段，解决现有技术中，自注意力模型训练面临待调优参数量大和耗时长的问题。 | ||
| 搜索关键词： | 改进 注意力 模型 文本 处理 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京龙智数科科技服务有限公司，未经北京龙智数科科技服务有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310283224.7/，转载请声明来源钻瓜专利网。
- 上一篇：应用于室内消防通信的路由方法
- 下一篇：一种显色腐蚀液及其制备方法与应用
