[发明专利]一种基于回复感知反馈机制的语言处理方法及系统

权利要求书

1.一种基于回复感知反馈机制的语言处理方法，其特征在于，包括如下步骤：

S10：根据背景知识K和对话上下文X，获得背景知识表征H^K、对话上下文表征H^X和上下文感知的背景知识表征W_X→K；

S20：根据上下文感知的背景知识表征W_X→K，选择一段背景知识段h_X→K；

S30：根据背景知识段h_X→K，逐个生成回复词，并在生成每一个回复词后，利用感知反馈机制，对所述背景知识段h_X→K进行修正，以生成下一个回复词。

2.根据权利要求1所述的基于回复感知反馈机制的语言处理方法，其特征在于：所述步骤S30包括如下步骤：

S31：生成第一个回复词；

S32：检查本轮对话回复内容是否生成完毕；若本轮对话回复内容生成完毕，输出本轮对话回复内容，否则，执行步骤S33；

S33：计算已生成的回复词与背景知识段的相关度，获得感知结果；

S34：根据步骤S33获得的感知结果，对背景知识段h_X→K进行修正；

S35：根据步骤S34修正后的背景知识段h_X→K生成第下一个回复词，然后返回步骤S32。

3.根据权利要求2所述的基于回复感知反馈机制的语言处理方法，其特征在于：所述步骤S33和步骤S34的计算方式如下：

在所述步骤S33中，首先获取已生成的t-1(t≥2)个回复词的集合F＝{r₁，…，r_t-1}，通过如下公式，计算表征序列

其中，W_f和b为可训练函数，e(r_t-1)为r_t-1的词向量，为表征序列H^F的初始元素；

接着，根据所述表征序列H^F的最后一个元素通过如下公式，计算一个反馈特征矩阵G：

其中，W_X→K^T为所述上下文感知的背景知识表征W_X→K的转置，

接着，根据所述反馈特征矩阵G，通过如下公式，计算出一个回复感知反馈权重向量Z：

A＝SelfAttn(W_X→K)＝softmax(W_X→K^TW_X→K)；

Z＝(G⊙A)W_X→K^T；

接着，在所述步骤S34中，基于所述回复感知反馈权重向量Z，通过以下公式，获得背景知识校正段

其中，W_g1、W_g2和b均为可训练的参数；W_g1和W_g2分别为所述回复感知权重向量Z和所述背景知识段h_X→K的软开关；

接着，将背景知识校正段作为现阶段背景知识段h_X→K，以修正现阶段背景知识段h_X→K：