[发明专利]预训练语言模型的方法和装置在审
| 申请号： | 202011009914.6 | 申请日： | 2020-09-23 |
| 公开（公告）号： | CN112084317A | 公开（公告）日： | 2020-12-15 |
| 发明（设计）人： | 王福东 | 申请（专利权）人： | 支付宝（杭州）信息技术有限公司 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F16/33;G06F16/35 |
| 代理公司： | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人： | 孙欣欣;周良玉 |
| 地址： | 310000 浙江省杭州市*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本说明书实施例提供一种预训练语言模型的方法和装置，方法包括：获取历史对话记录中的第一角色的第一语句，以及第二角色的第二语句；历史对话记录包括多轮对话中各轮对话的语句；将第一语句和第二语句拼接成第一样本；将第一样本中预设比例的字进行遮蔽，得到第二样本；对第二样本中任意一个字的字嵌入向量、字类型嵌入向量、位置嵌入向量和附加嵌入向量进行叠加，得到该字的初始字表达向量；将第二样本中各个字的初始字表达向量输入语言模型，基于包括第一任务在内的至少一项预训练任务对语言模型进行预训练，第一任务用于预测第二样本中被遮蔽的字。能够在预训练语言模型后，使得该语言模型更适用于对话领域的语言表征。 | ||
| 搜索关键词： | 训练 语言 模型 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于支付宝（杭州）信息技术有限公司，未经支付宝（杭州）信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011009914.6/，转载请声明来源钻瓜专利网。
- 上一篇：图神经网络的训练方法及装置
- 下一篇：一种精确控温的配水阀及其相关组件
