[发明专利]选择题生成模型训练方法、选择题生成方法、设备及介质有效
申请号: | 202011604701.8 | 申请日: | 2020-12-29 |
公开(公告)号: | CN112560443B | 公开(公告)日: | 2022-11-29 |
发明(设计)人: | 陈杭;赖众程;张舒婷;史文鑫;倪佳;林志超;何凤连;李筱艺;李会璟;赖幸斌;林嘉喜 | 申请(专利权)人: | 平安银行股份有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/30;G06K9/62 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 谭果林 |
地址: | 518000 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 选择题 生成 模型 训练 方法 设备 介质 | ||
1.一种选择题生成模型训练方法,其特征在于,包括:
获取目标应用领域对应的训练文档、标准题目信息和标准干扰选项;
根据所述标准题目信息对所述训练文档进行关键段落提取,获取与所述标准题目信息相对应的关键段落;
获取FinBert-UniLM模型,配置所述FinBert-UniLM模型对应的模型参数,所述FinBert-UniLM是在FinBert的注意力层采用UniLM,将FinBert中的Encoder结构转换为Seq2seq结构的模型,所述FinBert是采用目标应用领域相关的海量训练语料对Bert的模型参数进行预训练且采用LAMB优化器对Adam权重衰减优化器进行替代的Bert类模型;
将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练,获取所述目标应用领域对应的题目生成模型;
将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练,获取与所述题目生成模型相对应的干扰项生成模型。
2.如权利要求1所述的选择题生成模型训练方法,其特征在于,所述根据所述标准题目信息对所述训练文档进行关键段落提取,获取与所述标准题目信息相对应的关键段落,包括:
采用预设分隔符对所述训练文档分句,获取所述训练文档对应的多个句子字符串;
根据每一所述句子字符串和所述标准题目信息,获取每一所述句子字符串对应的句子评分值;
依据至少一个所述句子字符串对应的句子评分值进行排序,获取句子排序结果;
根据所述句子排序结果,对满足段落拼接条件的所有句子字符串拼接,获取与所述标准题目信息相对应的关键段落。
3.如权利要求1所述的选择题生成模型训练方法,其特征在于,所述标准题目信息包括标准题干和标准正确选项;
所述将所述关键段落和所述标准题目信息输入到所述FinBert-UniLM模型进行模型训练,获取所述目标应用领域对应的题目生成模型,包括:
将所述关键段落输入到所述FinBert-UniLM模型的编码器进行编码,获取所述关键段落对应的段落语义表征;
将所述段落语义表征输入到所述FinBert-UniLM模型的解码器进行解码,获取候选题目信息,所述候选题目信息包括候选题干和候选正确选项;
根据所述标准题干和所述候选题干,确定题干损失值,并根据所述标准正确选项和所述候选正确选项,确定正确选项损失值;
根据所述题干损失值和所述正确选项损失值,获取题目信息损失值;
若所述题目信息损失值小于第一损失阈值,则获取所述目标应用领域对应的题目生成模型。
4.如权利要求1所述的选择题生成模型训练方法,其特征在于,所述将所述关键段落、所述标准题目信息和所述标准干扰选项输入到所述FinBert-UniLM模型进行模型训练,获取与所述题目生成模型相对应的干扰项生成模型,包括:
将所述标准题目信息、所述标准干扰选项和所述关键段落输入到所述FinBert-UniLM模型的编码器进行编码,获取综合语义表征;
将所述综合语义表征输入到所述FinBert-UniLM模型的解码器进行解码,获取候选干扰选项;
根据所述候选干扰选项和所述标准干扰选项,计算干扰选项损失值;
若所述干扰选项损失值小于第二损失阈值,则获取与所述题目生成模型相对应的干扰项生成模型。
5.一种选择题生成方法,其特征在于,包括:
获取目标应用领域对应的待处理文档;
对所述待处理文档进行分段,获取至少一个待处理段落;
获取所述目标应用领域对应的题目生成模型和干扰项生成模型,所述题目生成模型和干扰项生成模型为执行权利要求1-4任一项所述选择题生成模型训练方法获取到的模型;
将所述待处理段落输入到所述题目生成模型,获取目标题目信息,所述目标题目信息包括目标题干和目标正确选项;
将所述待处理段落和所述目标题目信息输入到所述干扰项生成模型,获取目标干扰选项;
采用选择题生成模板对所述目标题干、所述目标正确选项和所述目标干扰选项进行处理,获取目标选择题。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安银行股份有限公司,未经平安银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011604701.8/1.html,转载请声明来源钻瓜专利网。