[发明专利]一种基于能量增强的注意力网络的答案识别方法及系统

说明书

本发明公开一种基于能量增强的注意力网络的答案识别方法及系统,所述方法通过一处理设备接收待处理文本，所述处理设备内置一注意力网络处理所述的待处理文本，获得与答案相关的文本序列，所述方法包括：接收输入的待处理文本，获取上下文向量；确定所述上下文向量的基础注意力向量；基于所述基础注意力向量，获取所述上下文向量每一个向量的增强向量组合；基于所述增强向量组合，采用所述注意力网络获得目标答案。利用本发明公开的方法，通过增强注意力向量的能量强烈程度，提高了获取答案的准确率和效率，故具有明显的技术优势和有益效果。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种基于能量增强的注意力网络的答案识别方法及系统。

背景技术

阅读理解，机器翻译，文本摘要是自然语言处理（NLP）领域三大核心问题，传统的解决方案中，基于短语的翻译系统通过将源句分成多个块，然后逐个词地翻译它们来完成它们的任务，这导致了翻译输出的不流畅。而神经机器翻译（NMT）的翻译模型中经典的做法是由编码器 - 解码器架构制定(encoder-decoder)，用作encoder和decoder常用的是循环神经网络。这类模型大概过程是首先将源句子的待处理文本送入到编码器中，提取最后隐藏的表示并用于初始化解码器的隐藏状态，然后一个接一个地生成目标单词，这个过程广义上可以理解为不断地将前一个时刻 t-1 的输出作为后一个时刻 t 的输入，循环解码，直到输出停止符为止。通过这种方式，NMT解决了传统的基于短语的方法中的局部翻译问题：它可以捕获语言中的长距离依赖性，并提供更流畅的翻译。但是这样做也存在很多缺点，譬如，RNN是健忘的，这意味着前面的信息在经过多个时间步骤传播后会被逐渐消弱乃至消失。其次，在解码期间没有进行对齐操作，因此在解码每个元素的过程中，焦点分散在整个序列中。

近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射，在计算attention时主要分为三步，第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积、拼接、感知机等；然后第二步一般是使用一个softmax函数对这些权重进行归一化；最后将权重和相应的键值value进行加权求和得到最后的attention。目前在NLP研究中，key和value常常都是同一个，即key=value。随着注意力机制的广泛应用，对注意力机制下获得输出的准确率要求越来越高，如何提高答案识别的有效性和准确率是该技术领域的热点。

本申请发明人在实施本发明的过程中，发现现有的注意力网络在实际输出识别应用中至少存在如下技术问题：现有的注意力权重的获取方法存在不足，使得注意力权重的获取效果不佳，导致基于其答案识别的准确率不理想。

发明内容

本发明的目的在于克服现有技术中存在的上述缺陷，提供一种基于注意力网络的答案识别方法及系统，通过增强输出的能量强烈程度向量，解决或者至少部分解决现有方法中由于注意力权重的获取方法存在不足的技术问题，使得答案获取和识别的准确率明显提高。

为达到上述目的，本发明第一方面公开一种基于能量增强的注意力网络的答案识别方法，该方法通过一处理设备接收待处理文本，所述待处理文本包括段落文本和问题文本，所述段落文本为包含两个或以上句子的篇章级文本，所述处理设备内置一注意力网络处理所述的待处理文本，获得与答案相关的文本序列，所述方法包括以下步骤：步骤11：接收输入的待处理文本，获取上下文向量；步骤12：确定所述上下文向量的基础注意力向量，所述基础注意力向量表示所属向量的初始注意力权重；步骤13：基于所述基础注意力向量，获取所述上下文向量每一个向量的增强向量组合，所述增强向量组合包括多个补偿向量能量的向量；步骤14：基于所述增强向量组合，采用所述注意力网络获得目标答案。该实施例的优势是通过在传统的注意力网络中增加了基础注意力向量的确定方法，并且在传统的注意力向量上叠加增强向量组合，使得可明显提高注意力向量的能量强烈程度，从而提高注意力网络在识别目标答案时的准确率。