[发明专利]一种适用于数值推理任务的胶囊网络结构

权利要求书

1.一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层；

具体实施步骤如下；

S1、问题预测层由描述文本和问题作为整个模型的输入S，分为问题序列S^q和文档序列S^d；

S2、然后利用Roberta编码器对输入层进行编码，得到输入层的编码表示H；

S3、推理层和胶囊网络层以编码表示作为输入进行计算；

S4、推理层和胶囊网络层的结果作为问题预测层的输入，通过问题预测层获得最终的答案P(ans)。

2.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述输入层采用S^q代表问题序列，S^d代表文档序列；

所述文档序列S^d包含m个词；所述问题序列S^q包含n个词语；

用S表示S^d和S^q的合并结果，公式表示如下：

3.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述Roberta编码层以Roberta网络作为基本的编码器，将输入S被编码为H，即：

H＝RoBerta-Encoder(S) (4)

利用Roberta网络结构的后四层输出作为后续层的输入，即：

RoBerta_out＝[H_N-3，H_N-2，H_N-1，H_N] (5)。

4.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述Roberta编码层内部设有一个双向的注意力网络，即：

其中代表问题的隐藏层向量，代表文档的隐藏层向量；Attention机制采用表中的attention算法，将隐藏层向量分别乘不同的矩阵W^Q，W^K and W^V分别作为query，key和value向量。

5.根据权利要求1所述的一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络的胶囊是一组向量，其中胶囊的方向表示一种特定类型的数字特征，而胶囊的长度表示这些特征存在的可能性；

来自高层的活动胶囊通过矩阵变换进行预测，而高层胶囊则是由低层胶囊聚类的，而低层胶囊则具有更多的抽象特征，当多个预测结果一致时，高层胶囊就会生效；

在数值推理的任务中，将所有的通过Roberta编码层抽取得到的底层语义信息投射到一定数量的底层胶囊中，每一个向量表示一个胶囊，每一个向量通过非线性函数Squash函数进行激活，Squash函数可以缩小向量的长度至0到1的范围内，表示该胶囊的概率，即：

在底层胶囊捕获到数值语义后，高层胶囊通过收集底层胶囊的信息得到，即：

其中，代表参数，c_uj代表通过动态路由得到的耦合系数；

然后，利用mean-pooling操作收集来自于不同胶囊层的信息，即：

MP代表mean-pooling操作，为了融合通过Roberta和胶囊网络抽取到的信息，首先应用了sigmoid来自动计算两者的权重，即：