[发明专利]一种基于Unilm优化语言模型的中文问题生成方法在审
| 申请号： | 202111244389.0 | 申请日： | 2021-10-25 |
| 公开（公告）号： | CN114328853A | 公开（公告）日： | 2022-04-12 |
| 发明（设计）人： | 朱磊;皎玖圆;张亚玲;姬文江;晁冰;苗文青 | 申请（专利权）人： | 西安理工大学 |
| 主分类号： | G06F16/332 | 分类号： | G06F16/332;G06F40/126;G06F40/211;G06F40/247;G06F40/295;G06F40/58;G06N3/04;G06N3/08 |
| 代理公司： | 西安弘理专利事务所 61214 | 代理人： | 王丹 |
| 地址： | 710048 陕*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Unilm优化语言模型的中文问题生成方法，本发明在Unilm模型中加入每个单字和领域词汇的相对位置信息时设置了一种相对位置遮盖矩阵，将该矩阵融入模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。同时使用copy机制，使得输出在一定程度上能从原句中拷贝，提高了输出语句和原句的相关性。为了提高训练数据样本，使用了回译与实体词替换相结合的策略实现数据的增强。领域预训练也被应用于模型用于增强模型在特定领域的推断能力。基于这三个策略同样的问答数据集本发明提出模型具有更好的效果。 | ||
| 搜索关键词： | 一种 基于 unilm 优化 语言 模型 中文 问题 生成 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安理工大学，未经西安理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111244389.0/，转载请声明来源钻瓜专利网。
- 上一篇：带电钩头组件
- 下一篇：用于共享上下文相关的媒体内容的用户界面
