[发明专利]一种基于对话状态追踪技术的事件抽取方法有效
申请号: | 202110589755.X | 申请日: | 2021-05-28 |
公开(公告)号: | CN113312464B | 公开(公告)日: | 2022-05-31 |
发明(设计)人: | 李建欣;李倩;宁元星;骆功旭;李熙;毛乾任;黄洪仁 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F16/335;G06F16/35;G06F16/36;G06F40/186;G06F40/253;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京中创阳光知识产权代理有限责任公司 11003 | 代理人: | 尹振启 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 对话 状态 追踪 技术 事件 抽取 方法 | ||
1.一种基于对话状态追踪技术的事件抽取方法,其特征在于:由事件检测模型、序列问题生成模型和论元抽取模型三部分组成;所述事件检测模型检测输入文本是否是事件,并分类文本所属的事件类型;所述序列问题生成模型根据事件类型和已经预测的置信度高的论元结果自动生成问题;所述论元抽取模型将所述序列问题生成模型生成的问题和输入文本作为输入来预测论元位置,然后采用标签对齐机制将预测的论元中置信度高的论元加入训练集中,最终输出每个文本中的所有事件类型和事件类型对应的论元;
具体地,所述事件检测中的所述检测过程为:包含事件的文本被分别传入一个图神经网络模型和一个BERT模型中,分别学习文本的结构化知识和上下文知识,之后将所述图神经网络模型和所述BERT模型输出的字表征拼接,得到每个字的新的表征,再加入一个自注意力机制,学习字的新的上下文表征,最后模型输出当前文本是否包含事件和所属事件类型;构造事件类别数量预测任务提高事件检测性能,通过计算事件分类和事件类别数预测两个任务的联合损失,来差别考虑当前预测错误所属类型;
所述预测论元位置的方法为:根据事件分类的结果,确定事件类型所包含的论元角色,对于每个论元角色,利用所述序列问题生成模块生成问题集,设计一个机器阅读理解模型,每次输入一个问题和对应的文本,之后将问题输入到一个BERT模型中,文本分别输入到一个图注意力模型来学习文本的结构化表征和BERT模型来学习文本的上下文表征,然后将两个模型的结果拼接在一起后经过一个自注意力机制,最后经过FCN层预测论元的开始和结束位置。
2.如权利要求1所述的一种基于对话状态追踪技术的事件抽取方法,其特征在于:所述图神经网络模型具体为:将每个文本构成一个图,每个字为图中的一个节点,使用词汇知识连接字符并提出一个全局中继节点,以捕获局部组成和潜在的单词边界,节点间的连边包括四种:第一种连边是词内关系连边,即一个词内的字之间依次顺序相连,直到连接到最后一个字;第二种连边方式是词语之间构建一条连边,具体连接方式是前一个词的第一个字和后一个词的第一个字相连,每条边代表潜在的可能存在的词语的特征;中继节点的连边,由一个所述中继节点与图中所有边和节点都相连;以及共现概率高的节点之间构建的连边。
3.如权利要求2所述的一种基于对话状态追踪技术的事件抽取方法,其特征在于:所述生成问题的方法为:首先,根据事件分类模型预测的文本所属事件类型和事件类型对应的事件模板,构造所有论元的问题;
然后预测每个论元的起始位置,判断这些论元中置信度最高的论元是否超过阈值,如果置信度没有超过阈值,认为当前的预测结果都可能存在错误信息传输,将所有论元预测结果输出,不再执行后面的步骤;如果超过阈值,则将该论元作为事件论元;
接着构造下一个论元识别的问题,问题的构造包括事件类型、事件模板和已识别的论元,预测这些论元的起始位置,判断这些论元中置信度最高的论元是否超过阈值,如果超过阈值将当前论元的所构造的问题作为当前轮的问题,如果没有超过则同时识别所有论元,这一过程不断反复,直到识别所有论元;
依次生成每个论元角色的问题集,对每个论元构造多个问题,具体地,首先识别第一个论元,问题的构造只包含事件类型信息和要识别的论元角色;依次识别所有的事件论元,选择置信度最高的论元作为第一个事件论元,然后构造第二个论元识别的问题,问题的构造包括事件类型和第一个论元,然后识别下一个置信度最高的论元,如此反复,直到识别所有论元;并设置一个置信度阈值,达到阈值时增加论元,如果一轮论元识别中没有增加论元,即剩下的论元识别结果置信度都不高,则同时添加所有的论元预测结果。
4.如权利要求3所述的一种基于对话状态追踪技术的事件抽取方法,其特征在于:所述标签对齐机制为:依次预测论元,将论元预测结果中置信度高的添加到问题中,为抽取下一个论元提供附加信息,对于置信度不高的论元角色,将事件模板中所有的论元识别完一轮后,重新识别置信度不高的论元,这样能利用上一轮中识别的论元信息,如此迭代,直到识别完所有论元,两轮没有新增的置信度高的论元,则同时识别剩下所有的论元。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110589755.X/1.html,转载请声明来源钻瓜专利网。