[发明专利]一种适用于数值推理任务的胶囊网络结构

说明书

本发明公开了一种适用于数值推理任务的胶囊网络结构，所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层，引入了RoBerta神经网络他能够识别出合法的数字和重要的词语，除此以外，还引入了一个双向的注意力机制用于精细地捕捉问题和相关文档之间的关系；同时利用胶囊网络将底层的特征语义特征聚合到高层的特征中，不同于max‑pooling，self‑attention等方法，有效的抽取出重叠的数值语义信息；此外，引入了一个门控机制控制胶囊网络和RoBerta网络的信息流，从而参与结果的预测，提高效率。

【技术领域】

本发明涉及计算机科学中的自然语言处理方向领域，具体涉及一种适用于数值推理任务的胶囊网络结构。

【背景技术】

现有的提升机器阅读理解模型数值推理能力的方法并不多见。其主要方法是通过对文本和问题中的数字进行提取，然后利用数字的类型和数字的数值关系，构建有向图，然后再利用图神经网络(图注意力网络)对有向图进行运算、推理，最终利用运算的结果辅助答案的预测。

尽管现有的方法可以在一定程度上，提升机器阅读理解的准确性。但仍然有两个难点没有解决:1)如何识别分布在多个句子中的合法数值。2)对于每个问题，如何区分出重叠的数值语义。

【发明内容】

为解决上述问题，提出了一种适用于数值推理任务的胶囊网络结构；

一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层；

具体实施步骤如下；

S1、问题预测层由描述文本和问题作为整个模型的输入S,分为问题序列S^q和文档序列S^d；

S2、然后利用Roberta编码器对输入层进行编码，得到输入层的编码表示H；

S3、推理层和胶囊网络层以编码表示作为输入进行计算；

S4、推理层和胶囊网络层的结果作为问题预测层的输入，通过问题预测层获得最终的答案P(ans)。

进一步地、所述输入层采用S^q代表问题序列，S^d代表文档序列；

所述文档序列S^d包含m个词；所述问题序列S^q包含n个词语；

用S表示S^d和S^q的合并结果，公式表示如下：

进一步地、所述Roberta编码层以Roberta网络作为基本的编码器，将输入S被编码为H，即：

H＝RoBerta-Encoder(S) (4)

利用Roberta网络结构的后四层输出作为后续层的输入，即：

RoBerta_out＝[H_N-3，H_N-2，H_N-1，H_N] (5)。

进一步地、所述Roberta编码层内部设有一个双向的注意力网络，即：

其中代表问题的隐藏层向量，代表文档的隐藏层向量；Attention机制采用表中的attention算法，将隐藏层向量分别乘不同的矩阵W^Q，W^K and W^V分别作为query,key和value向量。