[发明专利]一种自适应架构语义分布文本理解方法及系统

权利要求书

1.一种自适应架构语义分布文本理解方法，其特征在于，包括步骤：

通过文本基础编码器模块对输入文本进行编码，获得文本特征表示；

通过语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；

通过架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类；

所述语义关联关键分布表示模块包括上下文多头注意力语义分布表示和关键信息多头注意力语义分布表示；

所述上下文多头注意力语义分布表示具体算法如下：

其中，W₁，W₂，W₃为线性矩阵，将h^-2，h^-1放缩到d_k维，有：

d_h是h^-2，h^-1的维度，k表示多头数量；

h^-2，h^-1表示提取BERT的最后2个隐藏层作为后续层级，设x＝[x₁，x₂，…，x_l]，l为文本长度，则：

h^-2，h^-1＝BERT(x)。

2.根据权利要求1所述的自适应架构语义分布文本理解方法，其特征在于，所述文本基础编码器模块采用BERT预训练语言模型进行编码。

3.根据权利要求1所述的自适应架构语义分布文本理解方法，其特征在于，所述关键信息多头注意力语义分布表示具体算法如下：

获取上下文注意力语义分布表示之后，进一步将输入文本的上下文注意力语义分布表示进行自注意力加权计算得分，计算每个词相对于分类任务的权重α：

W₄^T，b分别为自注意力加权网络的权重和偏置，取Top n个关键词的权重α_t＝[α₀，α₁，…，α_n]和对应的网络表示进行加权操作：

则即是关键信息自注意力表示，

多头注意力就是将以上的头结构复制k份，每个头结构一致，可学习的权重参数不同，最后，拼接k个头，形成多头注意力结果表示h_att；

4.根据权利要求1或2所述的自适应架构语义分布文本理解方法，其特征在于，所述架构自适应分类网络模块根据分类类别的相近程度自适应的选择分类网络层，从而使相近的分类共用权重参数，分类类别相差较大的分类不共用权重，从而能更好的解决分类类别无法完全独立的问题。

5.根据权利要求4所述的自适应架构语义分布文本理解方法，其特征在于，所述架构自适应分类网络模块是树结构，每个节点都有一个分裂路径网络和一个共用编码器及全连接网络，其中叶子节点只有共用编码器及全连接网络。

6.根据权利要求5所述的自适应架构语义分布文本理解方法，其特征在于，所述分裂路径网络的分裂路径选择操作是一种MLP结构的自注意力机制，分裂路径选择网络会给出相近的权重，保留概率最大的那条路径，类别相近的分类共享同一路径的网络权重，进入同一分类器；对于分类类别相差较大的数据，网络提取的特征差别也较大，分裂路径选择网络倾向于给出不同的权重，选择不同的分裂路径。

7.一种自适应架构语义分布文本理解系统，其特征在于，包括：文本基础编码器模块、语义关联关键分布表示模块、架构自适应分类网络模块；

所述文本基础编码器模块对输入文本进行编码，获得文本特征表示；

所述语义关联关键分布表示模块将所述文本特征表示进行多头注意力机制处理，形成所述文本特征表示的自注意力表示；

所述架构自适应分类网络模块对所述文本特征表示的自注意力表示进行自动选择分类网络，实现最后的分类；

所述语义关联关键分布表示模块包括上下文多头注意力语义分布表示和关键信息多头注意力语义分布表示；

所述上下文多头注意力语义分布表示具体算法如下：

其中，W₁，W₂，W₃为线性矩阵，将h^-2，h^-1放缩到d_k维，有：

d_h是h^-2，h^-1的维度，k表示多头数量；

h^-2，h^-1表示提取BERT的最后2个隐藏层作为后续层级，设x＝[x₁，x₂，…，x_l]，l为文本长度，则：

h^-2，h^-1＝BERT(x)。