[发明专利]一种基于词粒度的自然语言模型的训练方法与系统在审
| 申请号： | 202110588758.1 | 申请日： | 2021-05-28 |
| 公开（公告）号： | CN113326693A | 公开（公告）日： | 2021-08-31 |
| 发明（设计）人： | 李子中;刘奕志;熊杰;薛娇;方宽 | 申请（专利权）人： | 智者四海（北京）技术有限公司 |
| 主分类号： | G06F40/216 | 分类号： | G06F40/216;G06F40/126;G06F40/242;G06F40/284;G06N3/04;G06N3/08 |
| 代理公司： | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人： | 何明伦 |
| 地址： | 100000 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种基于词粒度的自然语言模型的训练方法和系统，所述方法包括：根据词典将训练语料分词，所述分词的粒度为词语；根据词频，将分词的结果按照词频大小排序，分为三组词语，分别为高频词语、中频词语、低频词语；将所述三组词语嵌入向量；通过变形层进行编码与解码，得到带有浮点数的多个向量；将所述带有浮点数的多个向量通过自适应线性层，将其中概率超过阈值的向量选择为输出，并转化为预测词语；训练自然语言模型时，使用中文句子为样本数据，以及预先确定的预测词语为样本标签；使用自适应优化器训练自然语言模型，所述自适应优化器使用矩阵的低秩分解来压缩训练中产生的变量。 | ||
| 搜索关键词： | 一种 基于 粒度 自然语言 模型 训练 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于智者四海（北京）技术有限公司，未经智者四海（北京）技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110588758.1/，转载请声明来源钻瓜专利网。
