[发明专利]基于词格和相对位置嵌入的中文问题生成统一预训练方法在审
| 申请号： | 202110814546.0 | 申请日： | 2021-07-19 |
| 公开（公告）号： | CN113743095A | 公开（公告）日： | 2021-12-03 |
| 发明（设计）人： | 朱磊;皎玖圆;张亚玲;姬文江;王一川;黑新宏 | 申请（专利权）人： | 西安理工大学 |
| 主分类号： | G06F40/242 | 分类号： | G06F40/242;G06F40/295;G06N3/08;G06F16/31 |
| 代理公司： | 西安弘理专利事务所 61214 | 代理人： | 韩玙 |
| 地址： | 710048 陕*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法，具体包括如下步骤：对Robert参数进行领域预训练；使用半监督半人工的方式，快速且准确的生成目标领域词典；根据词典将输入中字和词的相对位置信息融入Transformer层；新建的Transformer层，通过大量开放域问答数据，进行任务预训练；生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息，模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。 | ||
| 搜索关键词： | 基于 相对 位置 嵌入 中文 问题 生成 统一 训练 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安理工大学，未经西安理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110814546.0/，转载请声明来源钻瓜专利网。
