[发明专利]基于预训练语言模型与多重词信息嵌入的字向量生成方法有效
| 申请号： | 202110511388.1 | 申请日： | 2021-05-11 |
| 公开（公告）号： | CN113128199B | 公开（公告）日： | 2022-06-21 |
| 发明（设计）人： | 陈贞翔;徐翰琛;杨倩;黄鹤林;姜晓庆;尚铭悦 | 申请（专利权）人： | 济南大学;山东思正信息科技有限公司 |
| 主分类号： | G06F40/205 | 分类号： | G06F40/205;G06F40/284;G06F16/951 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 李琳 |
| 地址： | 250022 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于预训练语言模型与多重词信息嵌入的字向量生成方法，根据已标注数据主题，爬取相关无标注数据；构建预训练语言模型，对已标注数据与未标注数据进行预训练，基于预训练语言模型对输入句子进行处理，获得字向量；对已标注数据提取多重词信息特征；将得到的字向量与多重词信息特征进行融合，得到最终字向量。本发明通过预训练语言模型来表征字向量，可以更好的引入多义性信息；构建多重词信息特征并将其添加到字向量中，为字向量带来了词信息与单词分割信息，提高自然语言处理效果。 | ||
| 搜索关键词： | 基于 训练 语言 模型 多重 信息 嵌入 向量 生成 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于济南大学;山东思正信息科技有限公司，未经济南大学;山东思正信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110511388.1/，转载请声明来源钻瓜专利网。
- 上一篇：一种高产节能剥绒机
- 下一篇：一种液压泵齿轮同轴度工装
