[发明专利]一种基于课程学习的深度学习机器阅读理解训练方法有效
| 申请号： | 201910725530.5 | 申请日： | 2019-08-07 |
| 公开（公告）号： | CN110633730B | 公开（公告）日： | 2023-05-23 |
| 发明（设计）人： | 印鉴;梁艺阐;周瑞莹 | 申请（专利权）人： | 中山大学 |
| 主分类号： | G06F18/214 | 分类号： | G06F18/214;G06N20/00;G06F16/33;G06F40/205;G06Q50/20 |
| 代理公司： | 广州粤高专利商标代理有限公司 44102 | 代理人： | 刘俊 |
| 地址： | 510275 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于课程学习的深度学习机器阅读理解训练方法，本方法使用BERT预训练语言模型将(文章，问题，选项)三元组构建成一个序列，不需要单独对每一个元组进行操作。构成一个问题的四个选项序列输入到网络中，进行跟BERT一样的微调过程，经过全连接层和softmax分类层，选择最大概率选项作为预测答案，通过最大化正确答案的对数概率来反向更新模型的参数，使模型学习到文本信息。三阶段训练框架先在简单数据集微调，再在普通数据集微调，能由浅入深按顺序地学到文本知识，最后在困难数据集训练后的测试效果比融合学习(在简单和普通数据集混杂起来的集合上微调再在困难数据集上训练)的准确率要高出2.5％。 | ||
| 搜索关键词： | 一种 基于 课程 学习 深度 机器 阅读 理解 训练 方法 | ||
【主权项】：
1.一种基于课程学习的深度学习机器阅读理解训练方法，其特征在于，包括以下步骤：/nS1：建立预训练语言模型在多选项阅读理解任务上的微调模型；/nS2：将建立好的微调模型依次在简单数据集和普通数据集中训练；/nS3：最后将微调好的模型用于困难数据集进行训练，然后进行测试。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中山大学，未经中山大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910725530.5/，转载请声明来源钻瓜专利网。
