[发明专利]一种文本抽取模型训练方法、文本抽取方法及装置有效
申请号: | 201910059221.9 | 申请日: | 2019-01-22 |
公开(公告)号: | CN109815341B | 公开(公告)日: | 2023-10-10 |
发明(设计)人: | 房平会;范思达;蔺张龙;刘子博 | 申请(专利权)人: | 安徽省泰岳祥升软件有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/34;G16H40/20 |
代理公司: | 北京弘权知识产权代理有限公司 11363 | 代理人: | 逯长明;许伟群 |
地址: | 230088 安徽省合肥市高新区习友路333*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 抽取 模型 训练 方法 装置 | ||
本申请实施例提供了一种文本抽取模型训练方法、文本抽取方法及装置。其中,该文本抽取模型训练方法将问题语料和答案语料分别拆分成短问题和短答案,并对短答案的核心句进行标注,从而使用短问题和标注的短答案对文本抽取模型进行训练,实现仅使用少量的问答语料,就能够使训练得到的文本抽取模型的准确率得到大幅度的提升。另外,该文本抽取方法将长问题拆分成短问题,使用文本抽取模型抽取每个短问题的短答案,再将短答案拼接成长答案,从而,最终得到的长答案内容完整,与问题相关性高。由此,本申请实施例解决了现有技术中的从文档资料中抽取问答内容准确率低的问题。
技术领域
本申请涉及自然语言处理技术领域,尤其涉及一种文本抽取模型训练方法、文本抽取方法及装置。
背景技术
在一些行业的文档资料中,通常会蕴藏由大量的问答知识,尤其是例如保险、金融和电商等服务型行业。为了提高行业的服务水平和工作效率,从业人员需要对文档资料进行挖掘和整理,以从这些文档资料中获取常见的问答内容,但是目前依靠人工整理文档资料的方法效率低并且工作量大。
现有技术中,本领域技术人员尝试通过QA-net模型来从文档资料中自动抽取问答内容,其中,QA-net是一个可用于阅读理解的机器学习模型算法。但是,目前使用QA-net 从文档资料中抽取到的问答内容存在很大的问题,例如:抽取到的答案与问题不相关,即答案完全错误,或者,仅抽取到了问题对应的部分答案,即答案不完整。在一些使用 QA-net对样本文档的抽取测试中,上述两类问题的占比超过50%,完全不具备实际应用的条件。因此,如果想要使用机器学习模型替代人工从文档资料中抽取问答内容,就必须要提高机器学习模型的抽取准确率。
发明内容
本申请实施例提供了一种文本抽取模型训练方法、文本抽取方法及装置,以解决现有技术从文档资料中抽取问答内容准确率低的问题。
第一方面,本申请实施例提供了一种文本抽取模型训练方法,包括:
获取问答语料,所述问答语料包含问题语料和答案语料组成的问答对;
当根据判断规则确定答案语料为长答案时,将答案语料分解成多个短答案,并为每个短答案设置对应的短问题;
抽取短答案的核心句和核心词,并标注核心句,其中,所述核心词用于对文本抽取模型抽取到的短答案进行准确性校验,所述核心词与所述短问题对应;
使用短问题和标注有核心句的短答案训练所述文本抽取模型。
第二方面,本申请实施例提供了一种文本抽取模型训练装置,包括:
获取模块,用于获取问答语料,所述问答语料包含问题语料和答案语料组成的问答对;
分解模块,用于当根据判断规则确定答案语料为长答案时,将答案语料分解成多个短答案,并为每个短答案设置对应的短问题;
抽取模块,用于抽取短答案的核心句和核心词,并标注核心句,其中,所述核心词用于对文本抽取模型抽取到的短答案进行准确性校验,所述核心词与所述短问题对应;
训练模块,用于使用短问题和标注有核心句的短答案训练所述文本抽取模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于安徽省泰岳祥升软件有限公司,未经安徽省泰岳祥升软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910059221.9/2.html,转载请声明来源钻瓜专利网。