[发明专利]一种新型的基于BERTCONTEXT的多轮对话自然语言理解模型在审

专利信息
申请号: 202011392427.2 申请日: 2020-12-02
公开(公告)号: CN112667788A 公开(公告)日: 2021-04-16
发明(设计)人: 戴宪华;其他发明人请求不公开姓名 申请(专利权)人: 中山大学
主分类号: G06F16/332 分类号: G06F16/332;G06F16/33;G06N3/04;G06N3/08;G06F16/35
代理公司: 暂无信息 代理人: 暂无信息
地址: 510275 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 新型 基于 bertcontext 轮对 自然语言 理解 模型
【说明书】:

聊天机器人、智能客服如何实现准确的自然语言理解(NLU),是人机对话中的一个非常重要的部分,也是近年来研究的一个热点。多轮对话的自然语言理解不仅仅要关注当前对话的语义信息,还需要关注对话时的历史对话信息。在多任务进行自然语言理解模型比较有代表性的是MT‑DNN模型,该模型主要考虑了针对这一般性NLU任务,但是针对多轮对话下的自然语言理解没有涉及,如果将多轮对话按当前语句进行NLU任务会缺少语义信息,导致语义信息缺失和不完整。本发明设计一个新型的基于BERTCONTEXT的多轮对话自然语言理解模型。将历史对话信息融入到当前对话信息,新型的BERTXONTEXT模型在多轮对话效果下比MT‑DNN模型精确度提高了1.4个百分点。

技术领域

本发明涉及自然语言处理领域,即一种用于多轮对话下的自然语言理解模型,基于BERT 的多任务算法。

背景技术

近年来,随着人工智能的火热,聊天机器人,智能客服也随之被广泛应用,其中如何获得准确语义信息,也即人工智能如何实现准确的自然语言理解(NLU),是人机对话中的一个非常重要的部分,也是近年来研究的一个热点。NLU涉及多项任务如:情感分析、意图识别、领域识别、命名实体识别等。现在比较流行的自然语言理解模型是用BERT来做各种不同任务的NLU,代表性的模型是多任务神经网络(MT-DNN)模型,MT-DNN基于BERT模型利用大量多个NLU任务来进行多任务训练,整体思路是利用BERT的预训练模型和多任务模型,将两者相结合提出了一个新的多任务深度神经网络来综合两种方法的优点。多任务学习之所以受青睐主要原因有两个,一是深层神经网络的学习需要大量特定任务的标记数据,这些数据在现实中并不是那么容易获得,多任务学习可以利用来自许多相关任务的监督数据,二是多任务学习通过受益与正则化效应,可以减轻特定任务的过度拟合。BERT语言模型,在纯文本上进行训练可以学习到通用语义信息,对于特定的NLU 任务用特定任务数据对模型进行微调,可以为一系列NLU任务创建很好的模型。MT_DNN 将两者结合起来,所有的NLU任务在BERT的编码层共享参数,对于BERT的顶层会将信息单独抽取出来用于不同的NLU任务。该方法在各项单句分类、文本分类、文本相似度等 NLU表现较好。此模型研究的NLU任务是针对当前的语句的,没有设计多轮对话的NLU,但是目前人机对话更多的情景是在进行多轮对话,多轮对话需要考虑对话的历史信息。我们知道,人类在进行多轮对话的时候,会根据之前的聊天信息在当前对话中省略或则用指示代词来代替具体信息,如果NLU只根据当前的语句信息,就会导致学习到的语义信息不

完整甚至是错误的,那么各项NLU任务的效果就会非常差。

发明内容

本发明旨在至少解决上述技术问题之一。

为此,本发明的目的在于提出一种新型的基于BERTCONTEXT的多轮对话下的自然语言理解识别的分类模型,该模型将BERT模型训练加载的单任务数据,改成多个任务的数据,将原来只根据当前对话语句改成用将历史对话语句加上当前对话的语句,并且将每一个任务对应的损失函数由原来的交叉损失函数改为focal loss损失函数。改进后的模型在搭建的人机对话自然语言理解方向上的意图识别、领域识别两个任务的分类准确性和时间都有明显提高。本文提出的模型在CrossWOZ数据集上比原来的MT-DNN网络性能好。

为了实现上述目的,本发明的技术方案为:

一种新型的基BERTCONTEXT的多轮对话下的自然语言理解模型,包括如下步骤:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011392427.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top